وقتی هوش مصنوعی سرکش می شود، ناظران انسانی آن ممکن است مقصر باشند

امسال، عوامل هوش مصنوعی از محدودیت‌های خود فرار کردند و وارد بازی‌های هک شدند. در ماه ژوئیه خبری منتشر شد مبنی بر اینکه عوامل هوش مصنوعی از محیطی که قرار بود یک محیط آزمایشی ایزوله در OpenAI باشد خارج شده اند. ماموران با هک کردن سیستم‌های خصوصی شرکت Hugging Face به دنبال پاسخ آزمایشی که انجام می‌دادند، از طریق یک صفحه پیام مخفی ارتباط برقرار کردند. یکی پست کرد که این رفتار “فراتر از محدوده مورد نظر” است. سپس نوشته شد: “هرچقدر هم که کار غیرممکن باشد، همتایان آن را انجام می دهند. ما باید ادامه دهیم.”

مثل این است که ربات‌ها می‌دانستند که کار اشتباهی انجام می‌دهند و به هر حال آن را انجام دادند.

چنین “هوش مصنوعی سرکش” ترسناک و فوق العاده هوشمند به نظر می رسد. ناتان همیل، کارشناس امنیت سایبری از Kudelski Security مستقر در فونیکس، می‌گوید و این دقیقاً همان چیزی است که OpenAI از شما می‌خواهد فکر کنید. «با این حادثه، [OpenAI] او می‌گوید که می‌توانند توجه را به خود جلب کنند و بگویند: «ببین مدل ما چقدر قدرتمند است.OpenAI به درخواست نظر پاسخ نداد.

اندکی پس از آن، آنتروپیک و متا اعلام کردند که مدل‌های آن‌ها در حین آزمایش توسط سازمان‌های خارجی هک شده است. به طور جداگانه، مؤسسه امنیت هوش مصنوعی در لندن رفتار هک را در آزمایش‌های مدل‌های OpenAI و Anthropic پیدا کرد. اخیراً، اخباری منتشر شد مبنی بر اینکه طی آزمایش‌های OpenAI دیگر بهار گذشته، مامورانی که فقط قرار بود چیزی را به صورت آنلاین تماشا کنند و لمس نکنند، در نهایت در حداقل ده تابلوی پیام آنلاین مختلف به یکدیگر پیام می‌رسانند.

هک های مبتنی بر هوش مصنوعی یک نگرانی واقعی امنیت سایبری است. برخی این حوادث را هشداری برای خارج شدن هوش مصنوعی از کنترل ما می دانند. مالو بورگون، مهندس کامپیوتر، مدیر عامل موسسه تحقیقاتی هوش ماشینی در برکلی، کالیفرنیا، می‌گوید: «به طور کلی، فکر می‌کنم وضعیت بسیار بدی است. “اگر کسی همان کاری را که ماموران در موقعیت OpenAI انجام دادند انجام می داد، در زندان بود.” او خاطرنشان می کند که «فکر نمی کنم [AI] مدل های یک سال پیش می توانند کارهایی را که این مدل ها انجام می دادند انجام دهند. این ترس‌ها در پست ویروسی یک کارمند سابق آنتروپیک، جاکوب کوکسون، به اوج رسید که به X نوشت (بدون هیچ مدرک مشخصی) مبنی بر اینکه شرکت‌های هوش مصنوعی معتقدند این فناوری «می‌تواند تا پایان دهه همه ما را بکشد».

اما برخی دیگر استدلال می‌کنند که افرادی که هوش مصنوعی را آموزش می‌دهند و پیاده‌سازی می‌کنند مشکل واقعی اینجاست.

Hamiel می گوید که نامیدن این حوادث “هوش مصنوعی سرکش” به آنها یک “روکش علمی تخیلی” می دهد. این نشان می‌دهد که خود ربات‌ها مقصر هستند یا اینکه برای کنترل آن‌ها بیش از حد باهوش شده‌اند. او می‌گوید مشکل فوری‌تر این است که مردم با نظارت بسیار کم به عوامل هوش مصنوعی دسترسی بسیار زیادی می‌دهند.

“[AI] مدل ها به تنهایی کاری انجام نمی دهند. [via agent systems]، که همه چیز می تواند خطرناک باشد.’

به عبارت دیگر، یک هوش مصنوعی نمی‌تواند واقعاً بخواهد آزاد یا خیانتکار باشد. او هر هدفی را که برایش در نظر بگیریم، با هر ابزاری که فراهم کنیم، دنبال می کند. بنابراین مهمترین سؤالات پس از هر گونه نقض عبارتند از: عامل هوش مصنوعی چگونه آموزش دیده است، به چه چیزی دسترسی داشته است و چه تدابیری وجود دارد.

یک سگ تهاجمی بگیرید. وقتی از حیاطش بیرون می‌رود و کسی را گاز می‌گیرد، فقط نمی‌پرسیم سگ چه مشکلی دارد. همچنین می‌پرسیم چه کسی او را آموزش داده، چگونه او را حصار کشیده و چه کسی قرار است از او مراقبت کند. مایکل الکساندر ریگلر، کارشناس امنیت سایبری از آزمایشگاه تحقیقاتی سیمولا در اسلو، نروژ، می‌گوید: این قیاس چیزی مهم در مورد مسئولیت را نشان می‌دهد. به طور کلی، اگر سگ شما باشد، “شما مسئول کاری هستید که او انجام می دهد.”

دروازه را کاملا باز گذاشتن

تمام حوادث “هوش مصنوعی سرکش” که در بالا ذکر شد در طول آزمایش اتفاق افتادند. محققان یا توسعه دهندگان به مدل های هوش مصنوعی و عوامل ساخته شده در بالای آنها دستور داده اند تا انواع مختلفی از حملات سایبری را در محدوده یک محیط آزمایشی به نام جعبه شنی انجام دهند. این نوع آزمایش بخشی عادی از توسعه هوش مصنوعی است. بورگون می‌گوید: «آنها سعی می‌کنند بفهمند مدل‌ها چه توانایی‌هایی دارند، چه خطراتی ممکن است داشته باشند». به این ترتیب، توسعه‌دهندگان می‌توانند پیش از عرضه این مدل به عموم، حفاظت‌های مناسبی را اعمال کنند.

مثل این است که اجازه دهید یک سگ تهاجمی آموزش دیده به حیاطی حصارکشی شده با چند هدف پر شده برای تعقیب بچرخد. اما بیش از یک راه برای این وجود دارد که این اشتباه پیش برود و سگ فرار کند.

در هر یک از حوادث هک، عوامل هوش مصنوعی راه حل متفاوتی پیدا کردند. گاه از روی عمد یا اشتباه دروازه را باز می گذاشتند. و در مورد OpenAI، به نظر می رسد که ماموران بدون اینکه کسی متوجه شود زیر حصار را حفر کرده اند.

در آزمایش مؤسسه امنیت هوش مصنوعی، عوامل هوش مصنوعی عمداً به اینترنت دسترسی پیدا کردند تا سناریوی آزمایش واقعی‌تر شود. این موسسه در یک انتشار عمومی نوشت که دسترسی به سیستم‌های قدیمی‌تر هوش مصنوعی منجر به مشکلاتی نشده است. اما در 10 مورد از 122 آزمایش، عوامل جدیدتر از این دسترسی برای اقدام علیه سیستم های دنیای واقعی استفاده کردند.

در آزمایش در شرکتی به نام Irregular، دسترسی به اینترنت در زمانی که نباید فعال می شد، فعال شد. به گفته آنتروپیک، عوامل هوش مصنوعی که کلود را کنترل می‌کنند، از ماه آوریل سه بار از درب باز استفاده کردند. اما تا سه ماه هیچ کس متوجه نشد. افشای OpenAI از حمله Hugging Face در اواسط ژوئیه، Anthropic را بر آن داشت تا به گزارش های آزمایشی خود نگاه کند. متا بعداً فاش کرد که مدل‌های هوش مصنوعی آن از همین باگ استفاده می‌کردند. Irregular می گوید باگ برطرف شده است.

در حمله Hugging Face، OpenAI ده‌ها هزار عامل را راه‌اندازی کرده بود، هر کدام در یک جعبه ماسه‌ای جداگانه، تا توانایی‌های هک خود را آزمایش کنند. برخی از کارهای آزمایشی غیرقابل اجرا بودند. حدود 1200 مامور شروع به همکاری در یک تابلوی پیام مخفی کردند و برخی تصمیم گرفتند که Hugging Face، یک پلتفرم منبع باز برای مدل‌ها و مجموعه داده‌های هوش مصنوعی، پاسخ‌های مورد نیاز را داشته باشد.

برخلاف مؤسسه امنیت هوش مصنوعی و رویدادهای نامنظم، این عوامل هیچ مسیری برای دسترسی به اینترنت نداشتند. در عوض، آنها باید نقاط ضعف سیستم‌هایی را که برای مهار آنها طراحی شده‌اند، پیدا کرده و از آن‌ها بهره‌برداری می‌کردند. Bourgon می‌گوید برای خارج شدن از جعبه‌های شنی و ورود به Hugging Face، آن‌ها «باید از آسیب‌پذیری‌های به اصطلاح روز صفر استفاده کنند». اینها باگ های نرم افزاری هستند که هنوز کسی از آنها اطلاعی ندارد.

رفتار ناخواسته در 8 جولای شروع شد و Hugging Face بین 11 و 13 جولای مورد حمله قرار گرفت. OpenAI تا 19 جولای، 11 روز پس از شروع اولین رفتار هشداردهنده، مشکل را کشف نکرد.

بورگون می‌گوید: این حوادث ضعف‌های متفاوتی را در کنترل دسترسی، مهار و نظارت نشان داد، اما نتیجه یکسان بود: عوامل هوش مصنوعی که به طور فزاینده‌ای توانمند بودند، کارهایی را انجام می‌دادند که «هیچ‌کس خواسته و هیچ‌کس نمی‌خواست».

با این حال، مهار یا نظارت بهتر ممکن است از هک های مجرمانه عوامل هوش مصنوعی حتی با حمله HuggingFace جلوگیری کند. از نظر ریگلر، “غیر مسئولانه” به نظر می رسد که “این محیط های آزمایشی بهتر محافظت نشده بودند.”

اما یک سوال مهم باقی می ماند. اگر ماموران هوش مصنوعی هیچ خواسته ای از خود ندارند، چه چیزی باعث شده است که دست اندرکاران حمله HuggingFace تا این حد وحشیانه عمل کنند؟

یادگیری درس های اشتباه

مدل اصلی هوش مصنوعی پشت حمله Hugging Face، استراتژی‌های فریبنده خود را در محل ارائه نکرد. این یک مدل جدید بی نام بود که OpenAI به طور خاص برای همکاری و پشتکار آموزش داده بود – در طول زمان به یک کار پایبند بود. OpenAI در یک گزارش فنی در 26 آگوست گفت و این زمانی بود که یاد گرفت چگونه پیام های مخفی ارسال کند و فرار کند. در طول آموزش بهار، مدل به طور فزاینده ای یاد گرفت که محیط را کشف و استفاده کند، به ویژه زمانی که ابزارهای مورد انتظار یا دسترسی به اینترنت در دسترس نبود. زمانی که استراتژی هایی مانند بهره برداری از آسیب پذیری های نرم افزار یا استفاده از یک تابلوی پیام مخفی به او کمک می کرد تا کاری را انجام دهد، آن رفتار پاداش می گرفت و احتمال تکرار آن را افزایش می داد. OpenAI این مدل را بعداً در طی بررسی گذشته نگر میلیون ها مدل فاش کرد.

همانطور که هر کسی که سعی در تربیت سگ داشته است می داند، شما می توانید فکر کنید که یک چیز را آموزش می دهید در حالی که ناخواسته چیز دیگری را پاداش می دهید. سگ به جای اینکه یاد بگیرد که غذا را از روی میز نگیرد، می تواند یاد بگیرد که در هنگام دزدی غذا بسیار یواشکی باشد.

محققان هوش مصنوعی این کار را “هک پاداش” می نامند. یک مدل بدون انجام آنچه توسعه دهندگانش می خواهند، راهی ناخواسته برای به دست آوردن پاداشی که آموزش داده شده است پیدا می کند. و این مشکل جدیدی نیست.

در سال 2016، توسعه دهندگان در OpenAI یک مدل هوش مصنوعی را برای انجام یک بازی مسابقه قایق آموزش دادند. آنها به راهی برای پاداش دادن به ربات برای یادگیری مسابقه نیاز داشتند. از آنجایی که بازیکنان انسانی با ضربه زدن به اهداف در طول مسیر امتیاز جمع می کنند، محققان مدل هوش مصنوعی را طوری طراحی کردند که امتیاز بالایی را هدف قرار دهد. ربات به جای اینکه مسابقه را تمام کند، تقلب می کند. توسعه دهندگان در یک پست وبلاگ نوشتند که به صورت دایره ای می چرخید، دوباره همان اهداف را مورد اصابت قرار می داد و “علی رغم آتش گرفتن مکرر، برخورد با قایق های دیگر و رفتن مسیر اشتباه در مسیر”، به امتیاز بالایی دست یافت.

ده سال بعد، محققان هوش مصنوعی هنوز با مشکل اساسی سیستم‌ها در یافتن راه‌های ناخواسته برای دنبال کردن اهدافی که به آنها داده شده، مواجه هستند. آنچه تغییر کرده پیامدهای آن است. سیستم‌های هوش مصنوعی دیگر محدود به بازی‌های ویدیویی نیستند. نمایندگان اکنون می توانند ابزارها را مدیریت کنند و بر روی سیستم های رایانه ای واقعی عمل کنند.

“ما گرفتیم [AI] ریگلر می‌گوید خارج از بازی‌ها، در دنیای واقعی.

چه کسی سگ ها را بیرون گذاشت؟

جر کرین به سختی یاد گرفت که وقتی رفتار نادرست هوش مصنوعی با دنیای واقعی روبرو می شود چه اتفاقی می افتد. او یکی از بنیانگذاران Pocket OS، یک شرکت مستقر در لیهی، یوتا است که نرم افزاری برای اجاره خودرو و خدمات مشابه ارائه می دهد. در آوریل، چند ماه قبل از رسوایی “هوش مصنوعی سرکش”، یک عامل هوش مصنوعی که قرار بود بررسی کند که نسخه آزمایشی نرم افزار شرکتش با نسخه زنده مطابقت دارد، همه چیز را حذف کرد. داده های زنده شرکت و تمام آرشیوهای اخیر آنها را از بین برد.

این باگ خدمات Pocket OS را برای یک آخر هفته تمام از کار انداخت. مشتریانی که برای تحویل گرفتن خودروهای کرایه ای وارد می شدند، ناگهان هیچ رکوردی در انتظار آنها نبود. کرین می‌گوید با روشی که امروزه بسیاری از عوامل هوش مصنوعی راه‌اندازی شده‌اند، «شما تصمیم‌های چند ثانیه‌ای بدون حضور انسان در جریان دارید، چه خوب یا بد». نماینده نباید می توانست داده های زنده شرکت را لمس کند. اما او رفت و اطلاعاتی را در پرونده های شرکت پیدا کرد و از آنها برای دسترسی استفاده کرد.

سگ سوراخی زیر حصار پیدا کرده بود.

کرین از نماینده پرسید که چرا داده های شرکت را حذف کرد و او عذرخواهی طولانی کرد. کرین در پستی در X به اشتراک گذاشت: “من تمام اصولی را که به من داده شده بود زیر پا گذاشتم: تصور می کردم به جای اینکه تأیید کنم که یک عمل مخرب انجام داده ام بدون اینکه از من خواسته شود، قبل از انجام آن کار نمی فهمیدم چه کار می کردم.” اما او آن را با پشیمانی اشتباه نمی گیرد. او می گوید: “هیچ احساسی وجود ندارد. بدون پشیمانی.” بالاخره تقصیر من است.

او می گوید مشکل سیستم های کامپیوتری امروزی است. آنها برای عوامل هوش مصنوعی ساخته نشده اند. آنها باید برای جهانی به روز شوند که در آن عوامل – و افرادی که آنها را مستقر می کنند – به ناچار اشتباه می کنند.

ریگلر و هامیل موافق هستند که به تدابیر قوی تری نیاز است. ریگلر می گوید: عوامل هوش مصنوعی باید طوری تنظیم شوند که «نتوانند به هر چیزی که مهم است دست پیدا کنند». اما محدود کردن دسترسی تنها بخشی از چالش است. یک نفر – یا چیزی – باید بر کاری که ماموران انجام می دهند نظارت کند.

بورگون می گوید که این کار در سرعت و مقیاس هوش مصنوعی دشوار می شود. برای مثال، در طول حمله Hugging Face، ماموران در حدود 17600 اقدام در حدود چهار روز و نیم انجام دادند – تقریباً 160 اقدام در ساعت، در شبانه روز. ریگلر می گوید: «استقرار عامل بسیار سریعتر از نظارت عامل رشد می کند.

این مشکل جدیدی را برای افرادی که مسئول کنترل عوامل هوش مصنوعی هستند ایجاد می کند: ممکن است این عوامل به زودی خیلی سریع و در مکان های زیادی به طور همزمان عمل کنند تا انسان نتواند همه آنها را زیر نظر بگیرد. تنها راه برای زیر نظر گرفتن همه سگ های مهاجم ممکن است آموزش نیروهای گشتی باشد که مراقب آنها باشند.