کارشناسان وحشت‌زده شده‌اند! تابستان گذشته با بیش از ۵۵۰ محقق هوش مصنوعی مصاحبه کردم که تقریباً نیمی از آنها بر این باور بودند که هوش ماشینیِ سطح بالا –اگر ساخته شود– به نتایجی منجر می‌شود که که دست‌کم به احتمالِ 10درصد، «بسیار بد» خواهند بود (یعنی چیزی در حد انقراض انسان). در ۳۰ می (۲۰۲۳)، صدها دانشمند هوش مصنوعی، همراه با مدیران عامل آزمایشگاه‌های برتر هوش مصنوعی مانند اوپن‌ای‌آی[۱]، دیپ‌مایند[۲] و آنثروفیک[۳] بیانیه‌ای را امضا کردند و خواستار احتیاط درمورد هوش مصنوعی شدند: «کاهش خطر انقراض [انسان] در اثر هوش مصنوعی باید یک اولویت جهانی در کنار سایر خطرات کلان‌مقیاس –مانند همه‌گیری‌ها و جنگ هسته‌ای– که جامعۀ بشری را تهدید می‌کنند باشد.»
چرا چنین فکر کنیم؟ ساده‌ترین استدلال این است که پیشرفت در هوش مصنوعی می‌تواند منجر به ایجاد «افراد مصنوعیِ[۴]» هوشمند و فرا‌انسانی شود که اهدافشان با منافع بشریت –و توانایی پیگیری مستقل آنها– در تضاد است. به عبارت دیگر، موجود [تازه‌ای] را در نظر بگیرید که برای انسان خردمند[۵] همان جایگاهی را دارد که انسان خردمند برای شامپانزه‌ها داشته است.
با این حال، درحالی‌که بسیاری از این نگران‌اند که هوش مصنوعی می‌تواند به معنای پایان بشریت باشد، برخی نگران هستند که اگر «ما» –که معمولاً به معنای محققان در غرب یا حتی محققان در یک آزمایشگاه یا شرکت خاص استفاده می‌شود– به جلو حرکت نکنیم، کسی که مسئولیت کمتری دارد این کار را انجام خواهد داد. اگر یک آزمایشگاه ایمن‌تر متوقف شود، آیندۀ ما ممکن است در دست یک آزمایشگاه بی‌احتیاط‌تر باشد، مثلاً آزمایشگاهی در چین که اهتمامی به اجتناب از خطرات جدی ندارد.
این استدلال وضعیت هوش مصنوعی را به یک زورآزماییِ نظامیِ کلاسیک شبیه می‌کند. فرض کنید من می‌خواهم شما را در جنگ شکست دهم. ما هردو پول خرج می‌کنیم تا سلاح‌های بیشتری بسازیم، اما بدون اینکه کسی مزیت نسبی به دست آورد. درنهایت، ما پول زیادی خرج کرده‌ایم و به جایی نرسیده‌ایم. ممکن است احمقانه به نظر برسد، اما اگر یکی از ما مسابقه ندهد، شکست می‌خورد [و به این ترتیب] گرفتار شده‌ایم.
پیشرفت در هوش مصنوعی می‌تواند منجر به ایجاد «افراد مصنوعیِ» هوشمند و فرا‌انسانی شود که اهدافشان با منافع بشریت –و توانایی پیگیری مستقل آنها– در تضاد است. به عبارت دیگر، موجود [تازه‌ای] را در نظر بگیرید که برای انسان خردمند همان جایگاهی را دارد که انسان خردمند برای شامپانزه‌ها داشته است.
اما وضعیت هوش مصنوعی از جنبه‌های مهمی متفاوت است. نکته قابل توجه، در مسابقۀ تسلیحاتی کلاسیک این است که یک طرف همیشه می‌تواند از نظر تئوری پیشروی کند و برنده شود. اما در حوزۀ هوش مصنوعی، برنده ممکن است خود هوش مصنوعیِ پیشرفته باشد. این [رقابت] ممکن است نتیجه‌ای جز تسریعِ شکستِ خویشتن نداشته باشد.
سایر عوامل تغییردهندۀ بازی در هوش مصنوعی عبارت‌اند از اینکه چه میزان ایمنی با سرعت کمتر [در حرکت به سوی هوش مصنوعی] به دست می‌آید؟ سرمایه‌گذاری‌های ایمنی یک طرف چقدر خطر را برای همۀ طرف‌ها کاهش می‌دهد؟ آیا دوم شدن به معنای ضرری کوچک است یا فاجعه‌ای بزرگ؟ اگر طرف‌های دیگر سرعت خود را افزایش دهند، چقدر خطر افزایش می‌یابد؟ و اینکه پاسخ دیگران چگونه خواهد بود؟
صحنۀ واقعی پیچیده‌تر از آن چیزی است که مدل‌های ساده پیشنهاد می‌کنند. به‌ویژه، اگر انگیزه‌های فردی و ناهماهنگ منجر به وضعیت نامناسبی شود که با «زورآزمایی» توصیف شده است: «حرکت برنده، درصورت امکان، ترک بازی است». و در دنیای واقعی، ما می‌توانیم راه خود را برای خروج از چنین تله‌هایی هماهنگ کنیم: می‌توانیم با یکدیگر صحبت کنیم. ما می‌توانیم تعهداتی بدهیم و پایبندی به آنها را بررسی کنیم. ما می‌توانیم با دولت‌ها برای تنظیم مقررات و توافق‌نامه‌ها لابی کنیم.
در جهان هوش مصنوعی، بازده برای یک بازیکن معیّن می‌تواند متفاوت از بازده برای کل جامعه باشد. برای بسیاری از ما، شاید مهم نباشد که متا، مایکروسافت را شکست دهد. اما محققان و سرمایه‌گذارانی که به دنبال شهرت و ثروت هستند ممکن است بسیار بیشتر اهمیت دهند. صحبت درمورد هوش مصنوعی به‌عنوان یک مسابقۀ تسلیحاتی این روایت را تقویت می‌کند که آنها نیاز دارند که به دنبال منافع خود باشند. بقیۀ ما باید مراقب باشیم که آنها کسانی باشند که تصمیم گیرنده‌اند.
مثال بهتری برای مقایسۀ هوش مصنوعی با مسابقۀ زورآزمایی را می‌توان در جمعیتی یافت که روی قطعه‌یخِ نازکی ایستاده‌اند، و ثروت فراوانی در ساحلی دوردست قرار دارد. اگر آنها با دقت قدم بردارند، همگی می‌توانند به آن ثروت دست یابند، اما یک نفر فکر می‌کند: «اگر من به‌سرعت بدوم، ممکن است یخ بشکند و همۀ ما غرق شویم، اما شرط می‌بندم که می‌توانم با دقت بیشتری نسبت به بغل‌دستی‌ام بدوَم، و از طرفی او هم ممکن است شروع به دویدن کند!»
در عرصۀ هوش مصنوعی، ما می‌توانیم دقیقاً برعکسِ یک مسابقه عمل کنیم. بهترین اقدام فردی می‌تواند حرکت آهسته و محتاطانه باشد. و درمجموع، ما نباید به مردم اجازه دهیم که دنیا را در یک رقابت ناسالم به ورطۀ نابودی بکشانند؛ به‌خصوص در شرایطی که تاکنون اقدام خاصی برای طراحی نقشۀ فرار و راهِ خروج‌مان انجام نداده‌ایم.
