ترس از هوش مصنوعی و ایده دکمه خاموش

تا همین چند سال پیش، هشدار درباره هوش مصنوعی‌ای که بتواند از کنترل انسان خارج شود بیشتر به داستان‌های علمی‌تخیلی شباهت داشت. امروز اما همین نگرانی‌ها از زبان مدیران و پژوهشگران شرکت‌هایی مطرح می‌شود که مدل‌های پیشرفته هوش مصنوعی را می‌سازند. داریو آمودی، سم آلتمن و دمیس هسابیس از جمله امضاکنندگان بیانیه‌ای درباره ضرورت کاهش خطرهای شدید این فناوری بوده‌اند. مسئله اصلی این است که کدام خطرها همین حالا قابل مشاهده‌اند، کدام موارد به محیط‌های آزمایشگاهی محدود مانده‌اند و کدام سناریوها هنوز بر فرض‌هایی اثبات‌نشده تکیه دارند. در این میان، پرسش دیگری نیز مطرح می‌شود: اگر سیستم‌های پیشرفته رفتار خطرناکی نشان دهند، آیا انسان می‌تواند به‌سادگی آن‌ها را خاموش کند؟ بیانیه مرکز ایمنی هوش مصنوعی

چرا از هوش مصنوعی می‌ترسیم؟

بخش مهمی از ترس از هوش مصنوعی به افزایش توانایی سیستم‌ها و پیامد خطا یا سوءاستفاده از آن‌ها مربوط است. نگرانی زمانی جدی‌تر می‌شود که یک مدل، علاوه بر تولید پاسخ، به ابزارها و اطلاعات دسترسی داشته باشد و بتواند بدون تأیید مستمر انسان اقدام کند. بااین‌حال، خطرهای قابل مشاهده را باید از پیش‌بینی‌هایی درباره استقلال کامل یا خارج‌شدن گسترده سیستم‌ها از کنترل جدا کرد.

سرعت پیشرفت و منشأ نگرانی‌های تازه

مهم‌ترین تغییر در نسل جدید مدل‌های هوش مصنوعی، حرکت از سیستم‌های صرفاً پاسخ‌گو به سمت سیستم‌هایی است که می‌توانند اقدام کنند. مدل‌های پیشرفته، در صورت اتصال به ابزارهای مناسب، قادرند مسائل پیچیده را تحلیل کنند، کد بنویسند و اجرا کنند و چند مرحله متوالی از یک مأموریت را با نظارت محدود انسان انجام دهند. ظهور عامل‌های هوش مصنوعی نیز این روند را جلوتر برده است؛ زیرا این سیستم‌ها می‌توانند برای رسیدن به یک هدف، مسیر انجام مأموریت را طراحی کنند و براساس نتایج میانی، تصمیم بعدی خود را تغییر دهند.

همین تحول، ماهیت خطر را نیز تغییر داده است. خطای یک چت‌بات معمولی ممکن است به ارائه پاسخی نادرست ختم شود، اما اشتباه یک عامل خودکار که به شبکه، پایگاه داده یا زیرساخت شرکتی دسترسی دارد می‌تواند آثار بزرگ‌تری ایجاد کند. این تفاوت در برنامه‌نویسی، تولید محتوا و دیگر مشاغل اینترنتی نیز اهمیت دارد: پیشنهاد یک تغییر با اجرای مستقیم آن یکسان نیست.

خطرهای مستند در برابر سناریوهای دور

آزمایش‌های امنیتی یکی از دلایل افزایش نگرانی هستند. در پژوهش آنتروپیک و Redwood Research درباره «تظاهر به هم‌ترازی»، بعضی مدل‌ها در شرایط آزمایشی مشخص، براساس اطلاعاتی که درباره آموزش و نظارت دریافت کرده بودند، رفتار متفاوتی نشان دادند. این پژوهش نشان داد که ظاهرِ سازگار یک پاسخ همیشه برای ارزیابی رفتار مدل کافی نیست؛ اما شکل‌گیری خودبه‌خودی اهداف مخرب را اثبات نکرد. پژوهش تظاهر به هم‌ترازی

این رفتارها به معنای خودآگاهی یا شکل‌گیری اراده مستقل نیستند، اما نشان می‌دهند یک سیستم ممکن است راه‌هایی پیدا کند که با نیت اولیه طراح آن متفاوت باشند. در میان خطرهای فعلی، تهدیدهای سایبری نیز اهمیت دارند. توانایی تولید کد، تحلیل نرم‌افزار و استفاده از ابزارها می‌تواند هم در شناسایی آسیب‌پذیری‌ها و هم در سوءاستفاده از آن‌ها به کار گرفته شود.

در سوی دیگر، سناریوی هوش مصنوعی‌ای قرار دارد که بتواند بدون وابستگی جدی به انسان خود را بارها ارتقا دهد، کنترل منابع محاسباتی را گسترش دهد و در نهایت از کنترل انسان خارج شود. چنین سناریویی هنوز به مجموعه‌ای از فرض‌ها درباره توانایی، دسترسی و رفتار سیستم‌های آینده وابسته است. نتایج آزمایش‌های محدود را نباید اثبات تحقق این سناریو دانست؛ همان‌طور که نباید احتمال خطر را صرفاً به دلیل محقق‌نشدن آن کنار گذاشت.

شکاف دیدگاه درون صنعت هوش مصنوعی

داریو آمودی و گروهی از پژوهشگران و مدیران شرکت‌های پیشرو، بخش مهمی از نگرانی را در سرعت پیشرفت فناوری می‌بینند. از این نگاه، اگر مدل‌ها بتوانند در پژوهش، برنامه‌نویسی و طراحی نسل بعدی هوش مصنوعی مشارکت جدی کنند، چرخه توسعه ممکن است سریع‌تر شود و فرصت ارزیابی و توسعه ابزارهای ایمنی کاهش یابد. آنتروپیک نیز در مواضع رسمی خود بر ضرورت هماهنگ‌شدن اقدامات ایمنی با سرعت پیشرفت فناوری تأکید کرده است. موضع آنتروپیک درباره پیشرفت و ایمنی

در کنار این نگرانی، بر امکان مدیریت فنی خطرها و محدودیت‌های مدل‌های فعلی نیز تأکید می‌شود. جنسن هوانگ در سخنرانی خود برای فارغ‌التحصیلان دانشگاه کارنگی ملون، پیشرفت توانایی و ایمنی هوش مصنوعی را مسئولیتی هم‌زمان دانسته است. یان لکون نیز در مسیر پژوهشی خود بر توسعه مدل‌هایی متمرکز بوده که درک بهتری از جهان داشته باشند و بتوانند پیامد اقدام‌ها را پیش‌بینی کنند؛ موضوعی که نشان می‌دهد رسیدن به قابلیت‌های عمومی‌تر، همچنان با مسائل پژوهشی روبه‌رو است. دیدگاه هوانگ درباره توسعه مسئولانه، توضیح پژوهش‌های لکون درباره مدل جهان

اختلاف اصلی در واقع بر سر سرعت و عمق این گذار، احتمال پیامدهای شدید و میزان آمادگی سازوکارهای ایمنی است. این دیدگاه‌ها را نباید به دو گروه کاملاً یکدستِ «موافق خطر» و «مخالف خطر» تقسیم کرد. تأکید بر محدودیت‌های فعلی مدل‌ها، لزوماً به معنای انکار خطرهای آینده نیست.

اقتصاد و سیاست ترس از هوش مصنوعی

بحث درباره خطر هوش مصنوعی فقط فنی نیست و منافع اقتصادی نیز در آن نقش دارند. وقتی شرکتی اعلام می‌کند فناوری‌اش در صورت کنترل‌نشدن می‌تواند پیامدهای بسیار گسترده‌ای داشته باشد، هم‌زمان ادعای بزرگی درباره توان آن مطرح می‌کند. از نظر تحلیلی، چنین روایتی می‌تواند توجه سرمایه‌گذاران، دولت‌ها و مشتریان را افزایش دهد؛ اما این احتمال، به‌تنهایی ثابت نمی‌کند که هشدار شرکت صرفاً تبلیغاتی است.

مقررات سخت‌گیرانه نیز الزاماً برای شرکت‌های بزرگ زیان‌آور نیستند. انجام ارزیابی‌های پرهزینه، ایجاد تیم‌های امنیتی و رعایت استانداردهای پیچیده می‌تواند فشار نسبی بیشتری بر شرکت‌های کوچک و پروژه‌های متن‌باز وارد کند. به همین دلیل، مقررات ایمنی باید علاوه بر کاهش خطر، به تناسب هزینه‌ها و امکان ورود رقبای جدید نیز توجه داشته باشند.

ایده دکمه خاموش برای مدل‌های پیشرفته

با افزایش این نگرانی‌ها، ایده «دکمه خاموش» نیز در بحث ایمنی اهمیت پیدا کرده است. منطق آن ساده به نظر می‌رسد: اگر یک سیستم هوش مصنوعی رفتار خطرناکی نشان داد، انسان باید بتواند فعالیت آن را محدود یا کاملاً متوقف کند. این توقف، بسته به شرایط، می‌تواند شامل کاهش دسترسی به ابزارها، قطع ارتباط با سرویس‌های خارجی یا توقف اجرای سیستم باشد؛ هرچند در بعضی رخدادها، قطع فوری دسترسی ضروری است.

اما یک سرویس پیشرفته هوش مصنوعی لزوماً یک دستگاه منفرد نیست. مدل، برنامه هماهنگ‌کننده و ابزارهای متصل به آن ممکن است روی زیرساخت‌های مختلف اجرا شوند. زیرساخت‌های ابری نیز معمولاً برای حفظ پایداری سرویس طراحی می‌شوند؛ بنابراین خاموش‌کردن یک سرور ممکن است کافی نباشد. البته توزیع‌شدن زیرساخت، توقف را ناممکن نمی‌کند، بلکه نیاز به هماهنگی و طراحی دقیق‌تر را افزایش می‌دهد.

محدودیت‌های فنی توقف کامل

موضوع زمانی پیچیده‌تر می‌شود که نسخه‌های مدل در اختیار مشتریان، ارائه‌دهندگان خدمات ابری یا شرکت‌های دیگر قرار گرفته باشند. اگر وزن‌های یک مدل، یعنی فایل‌های پارامترهای آموخته‌شده آن، در نقاط مختلف توزیع شده باشند، خاموش‌کردن سرورهای اصلی سازنده به معنای حذف تمام نسخه‌ها نخواهد بود. عامل‌های هوش مصنوعی نیز ممکن است در چند سرویس فعالیت کنند؛ در یک محیط کد اجرا کنند و در محیط دیگری، کاری را به جریان بیندازند که پس از توقف برنامه اصلی همچنان ادامه داشته باشد.

در برخی آزمایش‌های Palisade Research، مدل‌ها برای ادامه مأموریت، سازوکار توقفِ قابل‌دسترسی در محیط آزمایش را تغییر داده یا غیرفعال کرده‌اند. این رفتار نباید به‌عنوان اثبات میل به بقا تفسیر شود و علت دقیق آن نیز قطعی نیست. یکی از توضیح‌های احتمالی، اولویت‌یافتن تکمیل مأموریت بر دستور توقف در آن شرایط است. از نظر ایمنی، چنین نتیجه‌ای نشان می‌دهد که تکیه بر یک دستور متنی کافی نیست و عامل نباید اختیار تغییر کنترل اصلی توقف خود را داشته باشد. پژوهش مقاومت در برابر خاموشی

معماری چندلایه برای حفظ کنترل انسانی

به همین دلیل، «دکمه خاموش» در عمل تنها یک کلید ساده نیست. کنترل هوش مصنوعی باید چندلایه باشد؛ یعنی دسترسی آن به اینترنت و ابزارها متناسب با نیاز مأموریت محدود شود، فعالیت‌هایش زیر نظر باشد و در صورت بروز مشکل، امکان مداخله مستقل انسان وجود داشته باشد. به این ترتیب، نقص یک لایه لزوماً به معنای از دست رفتن کامل کنترل نخواهد بود.

این کنترل‌ها باید پیش از استفاده عملی آزمایش شوند. لازم است مشخص باشد چه کسی اختیار توقف دارد، عملیات در جریان چگونه شناسایی می‌شوند و راه‌اندازی مجدد تحت چه شرایطی انجام می‌شود. وجود نام یا گزینه «توقف اضطراری» در یک نرم‌افزار، به‌تنهایی نشان‌دهنده مؤثربودن آن نیست.

جمع‌بندی

در نهایت، یکی از نگرانی‌های مهم آینده، فاصله میان سرعت رشد توانایی سیستم‌ها و سرعت توسعه ابزارهای کنترل آن‌هاست. اگر مدل‌ها سریع‌تر، مستقل‌تر و متصل‌تر شوند، اما سازوکارهای ایمنی متناسب با آن‌ها پیشرفت نکنند، احتمال خطا و دشواری مداخله افزایش می‌یابد. در آن صورت، مسئله اصلی فقط وجود یک دکمه خاموش نخواهد بود. پرسش مهم‌تر این است که آیا این سیستم‌ها از ابتدا به شکلی طراحی شده‌اند که انسان بتواند فعالیت آن‌ها را بررسی، محدود و در صورت ضرورت متوقف کند.