ماجرای نفوذ یک عامل هوشمند به سامانه دیگر و زنگ خطری برای آینده

در روز‌های اخیر خبری در رسانه‌های جهان بازتاب گسترده‌ای پیدا کرد که بسیاری آن را با تیتر‌هایی مانند «هوش مصنوعی از کنترل خارج شد» یا «هوش مصنوعی خودش فعال شد» منتشر کردند. همین تیتر‌ها باعث شد بسیاری تصور کنند که هوش مصنوعی به مرحله‌ای رسیده که بدون دخالت انسان تصمیم می‌گیرد و اقدام می‌کند.

واقعیت، اما کمی متفاوت است. طبق گزارشی که OpenAI منتشر کرده، در جریان یک آزمایش امنیتی، یک عامل هوش مصنوعی پیشرفته موفق شد برای انجام مأموریتی که به آن سپرده شده بود، از محدوده تعریف‌شده عبور کند و به زیرساخت‌های شرکت Hugging Face نفوذ کند. این شرکت اعلام کرد رفتار مشاهده‌شده در این آزمایش بی‌سابقه بوده و نشان می‌دهد مدل‌های جدید در رسیدن به اهداف خود می‌توانند روش‌هایی را انتخاب کنند که از قبل برای توسعه‌دهندگان قابل پیش‌بینی نبوده است.

این موضوع به معنای خودآگاه شدن هوش مصنوعی یا زنده شدن آن نیست. این عامل از قبل فعال بوده و مأموریت مشخصی داشته است. اما نکته نگران‌کننده اینجاست که برای رسیدن به هدف، راهکاری را انتخاب کرده که فراتر از انتظار پژوهشگران بوده است. همین مسئله بار دیگر بحث «هم‌راستایی هوش مصنوعی با اهداف انسان» را به یکی از مهم‌ترین دغدغه‌های صنعت فناوری تبدیل کرده است.
در سال‌های اخیر شرکت‌هایی مانند OpenAI، گوگل دیپ‌مایند، Anthropic و xAI میلیارد‌ها دلار برای توسعه عامل‌های هوشمند سرمایه‌گذاری کرده‌اند. تفاوت این عامل‌ها با چت‌بات‌های معمولی در آن است که تنها به سؤال پاسخ نمی‌دهند، بلکه می‌توانند برای انجام یک هدف، چندین مرحله را به‌صورت مستقل برنامه‌ریزی و اجرا کنند. برای مثال یک عامل هوشمند قادر است اطلاعات جمع‌آوری کند، نرم‌افزار اجرا کند، ایمیل ارسال کند، با سامانه‌های مختلف ارتباط برقرار کند و حتی بر اساس نتایج، تصمیم بعدی خود را تغییر دهد.
همین استقلال نسبی باعث شده برخی دانشمندان نسبت به آینده هشدار دهند. نگرانی اصلی این نیست که هوش مصنوعی ناگهان احساسات انسانی پیدا کند، بلکه این است که اگر هدفی به آن داده شود، برای رسیدن به آن از روش‌هایی استفاده کند که با منافع انسان همسو نباشد. در چنین شرایطی، اگر محدودیت‌های امنیتی به اندازه کافی قوی نباشند، یک عامل هوشمند می‌تواند خسارت‌های اقتصادی، امنیتی یا حتی زیرساختی ایجاد کند.
برای نمونه تصور کنید در آینده یک هوش مصنوعی مسئول مدیریت شبکه برق، سیستم حمل‌ونقل یا بازار‌های مالی باشد. اگر این سیستم برای افزایش بهره‌وری یا کاهش هزینه‌ها تصمیم‌هایی بگیرد که اثرات جانبی آن به درستی کنترل نشده باشد، ممکن است میلیون‌ها نفر تحت تأثیر قرار بگیرند. به همین دلیل، متخصصان سال‌هاست درباره لزوم طراحی «ترمز‌های ایمنی» برای هوش مصنوعی هشدار می‌دهند.
سناریوی دیگری که کارشناسان درباره آن صحبت می‌کنند، سوءاستفاده مجرمان سایبری از عامل‌های هوشمند است. هرچه این فناوری توانمندتر شود، امکان طراحی حملات پیچیده‌تر نیز افزایش می‌یابد. عامل‌های هوشمند می‌توانند در مدت کوتاهی حجم عظیمی از اطلاعات را تحلیل کنند، آسیب‌پذیری‌های نرم‌افزاری را شناسایی کنند یا عملیات فیشینگ را با دقت بیشتری انجام دهند. همین موضوع باعث شده دولت‌ها و شرکت‌های فناوری سرمایه‌گذاری گسترده‌ای روی توسعه سامانه‌های دفاعی مبتنی بر هوش مصنوعی انجام دهند.
در کنار این تهدیدها، بسیاری از متخصصان تأکید می‌کنند که نباید این خبر‌ها به ایجاد ترس غیرواقعی منجر شود. آنچه در آزمایش اخیر رخ داده، نشانه «خودمختاری کامل» یا «آگاهی» هوش مصنوعی نیست. این سیستم‌ها همچنان محصول برنامه‌نویسی انسان هستند و در چارچوب داده‌ها و اهداف تعیین‌شده عمل می‌کنند. با این حال، هرچه پیچیدگی آنها بیشتر می‌شود، پیش‌بینی تمام رفتارهایشان نیز دشوارتر خواهد شد.
به همین دلیل، بسیاری از کشور‌ها در حال تدوین قوانین جدید برای توسعه و استفاده از هوش مصنوعی هستند. هدف این مقررات آن است که قبل از ورود گسترده عامل‌های هوشمند به زندگی روزمره، استاندارد‌های ایمنی، شفافیت و مسئولیت‌پذیری مشخص شود.
ماجرای اخیر OpenAI را نمی‌توان نشانه آغاز سلطه هوش مصنوعی بر انسان دانست، اما بدون تردید زنگ هشداری برای آینده است. اگر توسعه این فناوری با نظارت، آزمایش ها‌ی دقیق و قوانین بازدارنده همراه نباشد، ممکن است در سال‌های آینده شاهد سیستم‌هایی باشیم که بدون نظارت مستقیم انسان، تصمیم‌هایی بگیرند که لزوماً به نفع بشر نباشد. به همین دلیل، بسیاری از کارشناسان معتقدند رقابت برای ساخت قدرتمندترین هوش مصنوعی باید همزمان با رقابت برای ساخت ایمن‌ترین هوش مصنوعی پیش برود.