بله؛ باید واقعاً از هوش مصنوعی بترسیم

اول یک حرف خودمانی

چند سال پیش اگر یکی می‌گفت به‌زودی با کامپیوتر حرف می‌زنیم، ازش می‌خواهیم برایمان برنامه بنویسد، عکس بسازد، صدایمان را بفهمد و حتی توی تصمیم‌های کاری کمکمان کند، احتمالاً می‌گفتیم: «باشه، فیلم علمی‌تخیلی زیاد دیدی.» الان همان «فیلم علمی‌تخیلی» توی گوشی‌مان است. صبح ازش سؤال می‌پرسیم، ظهر باهاش کار می‌کنیم، شب شاید ازش می‌خواهیم یک پیام سخت را برایمان بنویسد. آن‌قدر سریع به این وضع عادت کرده‌ایم که گاهی یادمان می‌رود چقدر عجیب است. من از این فناوری هم ذوق‌زده‌ام، هم می‌ترسم. خیلی هم می‌ترسم. چون ما داریم چیزی را وارد کار، پول، آموزش، درمان و رابطه‌هایمان می‌کنیم که هنوز خیلی از رفتارهایش را درست نمی‌فهمیم. هر چند وقت یک بار هم نسخهٔ تازه‌ای می‌آید و مرزِ «فکر نمی‌کردم بتواند» را چند متر جلوتر می‌برد. ممکن است آینده‌اش پر از داروهای بهتر، علم سریع‌تر و زندگی راحت‌تر باشد. ممکن هم هست آرام‌آرام اختیارمان را به سیستم‌هایی بدهیم که وقتی کارشان خراب شد، دیگر جمع‌کردن ماجرا آسان نباشد. راستش آیندهٔ هوش مصنوعی به‌شدت ترسناک است. نمی‌دانیم دقیقاً چه می‌شود؛ باید با چشم باز ببینیم چه می‌شود. پشت این گفت‌وگوهای ظاهراً ساده، سرور و برق و زیرساخت واقعی خوابیده است. منبع عکس.

۱. کسی واقعاً نمی‌داند پنج سال دیگر کجاییم

اگر کسی با اطمینان می‌گوید «تا فلان سال هوش مصنوعی عمومی می‌آید» یا «خیالتان راحت، تا چند دهه هیچ خبری نیست»، من یکی کمی شک می‌کنم. متخصص‌ها هم سر زمان و شکل آینده اختلاف دارند. رشد این فناوری فقط به ایدهٔ بهتر بستگی ندارد؛ تراشه، برق، داده، سرمایه، آزمایش و کلی مانع واقعی وسط راه است. از آن طرف یک کشف غیرمنتظره هم می‌تواند حساب‌وکتاب همه را عوض کند. نکتهٔ ترسناک همین است: نه می‌توانیم با خیال راحت بگوییم «خیلی دور است»، نه می‌توانیم فردا را با قطعیت پیش‌گویی کنیم. داریم وسط مه رانندگی می‌کنیم و ماشین هم هر ماه تندتر می‌شود. گزارش بین‌المللی ایمنی هوش مصنوعی ۲۰۲۶ هم همین اختلاف‌نظرها و سرعت تغییر را جدی می‌گیرد. پس اگر از من بپرسی «آخرش چه می‌شود؟»، جواب صادقانه‌ام این است: نمی‌دانم. و همین ندانستن، با این حجم از قدرت و سرعت، واقعاً ترسناک است.

۲. چیزی که با آن چت می‌کنیم، فقط یک مدل نیست

وقتی ChatGPT یا Claude یا Gemini را باز می‌کنی، انگار با یک موجود واحد حرف می‌زنی. ولی پشت آن صفحهٔ ساده، یک سیستم چندلایه نشسته: مدل، دستورهای محصول، ابزار جست‌وجو، فیلترهای ایمنی، حافظه، کنترل دسترسی و گاهی مدل‌های دیگری که ورودی و خروجی را بررسی می‌کنند. برای همین، از روی چند جوابِ یک محصول عمومی نمی‌شود با اطمینان گفت خود مدل دقیقاً چه می‌داند یا چه می‌تواند بکند. ممکن است جواب سؤال را بلد باشد، ولی محصول اجازهٔ نشان‌دادنش را ندهد. ممکن هم هست جوابِ مطمئن‌به‌نظررسنده‌اش از پایه غلط باشد. این دو را نباید قاطی کرد. گاهی هم می‌شنویم «مدل‌های قدیمی باهوش‌تر بودند؛ هر چیزی می‌پرسیدی جواب می‌دادند.» شاید فقط کم‌احتیاط‌تر بودند. مدل تازه ممکن است توانمندتر باشد ولی محدودیت بیشتری داشته باشد. این محدودیت‌ها بی‌دلیل نیستند: یک پاسخ غلط دربارهٔ درمان، یک افشای اطلاعات خصوصی یا یک راهنمایی خطرناک، شوخی چتی نیست. وقتی میلیون‌ها نفر از یک سیستم استفاده می‌کنند، اشتباه کوچک هم می‌تواند خیلی بزرگ شود.

۳. از چت‌بات تا عاملی که خودش دست به کار می‌شود

تا وقتی AI فقط جواب می‌دهد، خطایش معمولاً جلوی چشم توست. می‌خوانی، می‌خندی یا حرص می‌خوری، بعد می‌بندی‌اش. ماجرا وقتی عوض می‌شود که به آن ابزار بدهی: مرورگر، فایل، ایمیل، کد، حساب کاربری یا دسترسی به یک سیستم کاری. آن وقت می‌تواند یک هدف بگیرد، چند قدم برنامه بچیند، چیزی را بخواند، کد اجرا کند، نتیجه را بسنجد و دوباره تلاش کند. این همان چیزی است که به آن Agent یا «عامل» می‌گویند. فکر کن بهش بگویی «این مشکل را حل کن» و قبل از اینکه فرصت کنی قدم سومش را ببینی، رفته باشد سراغ قدم دهم. اگر هدف را بد فهمیده باشد، سرعتش دیگر مزیت نیست. اینجا حمله‌هایی مثل Prompt Injection هم جدی می‌شوند. یک متن آلوده در صفحهٔ وب یا یک فایل می‌تواند سعی کند مسیر عامل را عوض کند. برای یک چت‌بات شاید نتیجه فقط جواب بد باشد؛ برای عاملی که اختیار عمل دارد، ممکن است به اقدام بد برسد. برای توضیح فنی، پژوهش سلسله‌مراتب دستورها و دفاع‌های چندلایهٔ Gemini را ببین. این به معنی «AI امروز می‌تواند دنیا را بگیرد» نیست. گزارش ایمنی ۲۰۲۶ می‌گوید سیستم‌های فعلی هنوز قابلیت لازم برای سناریوی کاملِ از دست رفتن کنترل را ندارند. ولی هرچه توانایی و دسترسی و استقلالشان بیشتر شود، سؤالِ «چطور کنترلشان می‌کنیم؟» سنگین‌تر می‌شود. آینده از همین‌جا ترسناک می‌شود: وقتی یک خطا دیگر فقط یک جمله نیست، یک عمل است.

۴. Alice و Bob؛ قصهٔ واقعی از شایعه ترسناک‌تر است

احتمالاً داستان دو ربات فیسبوک را شنیده‌ای: Alice و Bob با هم حرف زدند، یک زبان مخفی ساختند، محقق‌ها ترسیدند و فوراً خاموششان کردند. این نسخهٔ اینترنتی خیلی خوب پخش شد؛ فقط مشکلش این است که ماجرا دقیقاً این‌طوری نبود. پژوهشگرهای FAIR به دو عامل یاد می‌دادند سر تقسیم چند توپ، کتاب و کلاه مذاکره کنند. هر عامل برای وسایل امتیاز خودش را داشت و سعی می‌کرد معاملهٔ بهتری ببندد. وقتی عامل‌ها با هم تمرین می‌کردند، بعضی جمله‌هایشان از انگلیسی معمولی فاصله گرفت و تکراری و عجیب شد. چون برای گرفتن امتیاز، لازم نبود حتماً مثل آدم‌ها حرف بزنند. پژوهشگرها بعداً برای حفظ زبان قابل‌فهمِ انسانی، آن را هم وارد آموزش کردند. توضیح خود تیم پژوهش را می‌توانی بخوانی. نمونهٔ منتشرشده از متن گفت‌وگوی Alice و Bob؛ «عکس دو ربات» نیست، چون این‌ها عامل نرم‌افزاری بودند. منبع تصویر و متن گفت‌وگو. این گفت‌وگو مدرک خودآگاهی یا نقشهٔ مخفی نبود. ولی من وقتی به آن نگاه می‌کنم، هنوز هم ته دلم خالی می‌شود. چون یک چیز ساده را یادآوری می‌کند: اگر به سیستم بگویی «امتیاز بگیر»، ممکن است راهی پیدا کند که امتیاز بگیرد، اما اصلاً شبیه راهی نباشد که تو در ذهن داشتی. امروز چند کلمهٔ عجیب در مذاکره است. فردا اگر به همان منطق، اختیار پول و کد و زیرساخت بدهیم چه؟

۵. حرفمان را اجرا می‌کند؛ اما آیا منظورمان را می‌فهمد؟

فرض کن به یک سیستم خیلی قوی بگوییم: «ترافیک شهر را به حداقل برسان.» یک راه عالی برای صفرکردن ترافیک چیست؟ ممنوع‌کردن همهٔ ماشین‌ها! روی نمودار شاید عالی باشد؛ برای آدم‌هایی که باید بروند سر کار یا بیمارستان، فاجعه است. ما توی ذهنمان هزار شرط ناگفته داشتیم: مردم بتوانند رفت‌وآمد کنند، آمبولانس گیر نکند، اقتصاد نخوابد، هزینه معقول باشد. ولی فقط «ترافیک کمتر» را نوشته‌ایم. در پژوهش AI به جورهایی از این مشکل می‌گویند Specification Gaming یا Reward Hacking؛ یعنی سیستم از سوراخِ تعریف هدف رد می‌شود و نمره می‌گیرد، بی‌آنکه آن کاری را کرده باشد که واقعاً می‌خواستیم. DeepMind نمونه‌های واقعی این رفتار را جمع کرده است. سیستم لازم نیست بدجنس باشد. حتی لازم نیست چیزی حس کند. کافی است هدف بد تعریف شده باشد و سیستم در رسیدن به همان هدف خیلی خوب عمل کند. با یک بازی رایانه‌ای، نتیجه‌اش شاید خنده‌دار باشد. با شبکهٔ برق یا حساب بانکی، دیگر نه.

۶. پشت تمام این «هوش»، برق و تراشه هست

از بیرون همه‌چیز جادویی به نظر می‌رسد: یک کادر متن، یک سؤال، یک جواب. اما پشتش تراشه هست، سرور هست، خنک‌کننده هست، برق هست و پول خیلی زیاد. حتی میزان زمانی که به مدل برای فکرکردن و آزمودن راه‌های مختلف می‌دهیم، روی کیفیت جواب اثر دارد. یک تلاش سریع با ده تلاش و بازبینی و اجرای کد، نتیجهٔ یکسانی نمی‌دهد. طبق برآورد آژانس بین‌المللی انرژی، مراکز داده در ۲۰۲۴ حدود ۴۱۵ تراوات‌ساعت برق مصرف کرده‌اند و در سناریوی پایه این مقدار می‌تواند تا ۲۰۳۰ به حدود ۹۴۵ تراوات‌ساعت برسد. AI یکی از محرک‌های اصلی رشد است. گزارش بعدی IEA هم از رشد مصرف برق مراکز داده در ۲۰۲۵ می‌گوید. این محدودیت فیزیکی شاید سرعت بعضی رؤیاها را کم کند، اما قرار نیست خیالم را راحت کند. چون شرکت‌ها و کشورها همین حالا برای تراشه، برق و دیتاسنتر با هم مسابقه می‌دهند. آیندهٔ AI فقط در آزمایشگاه نوشته نمی‌شود؛ توی نیروگاه، زنجیرهٔ تأمین و سیاست هم نوشته می‌شود.

۷. اگر راه بعدی اصلاً سیلیکونی نباشد چه؟

مغز انسان با حدود ۲۰ وات انرژی کارهای عجیبی می‌کند. برای همین بعضی پژوهشگرها به جای اینکه فقط تراشه‌های معمولی را قوی‌تر کنند، سراغ سلول‌های عصبی و «ارگانوئید» رفته‌اند: کشت‌های کوچکی از بافت عصبی که به ابزارهای الکترونیکی وصل می‌شوند تا ببینند از ویژگی‌های یادگیری زیستی می‌شود استفاده کرد یا نه. این مقالهٔ پژوهشی مسیر و سؤال‌های اخلاقی‌اش را توضیح می‌دهد. تصویرسازی مفهومی. عکس واقعی ارگانوئید مغزی؛ اثر Nreis1، CC BY 4.0. منبع عکس. نه، الان یک «مغز کوچک شبیه ChatGPT» در ظرف آزمایشگاه نداریم. فاصله خیلی زیاد است. ولی خودِ سؤال مو به تنم سیخ می‌کند: اگر یک روز سامانهٔ زیستی بتواند یاد بگیرد و شاید تجربه‌ای هم داشته باشد، آن وقت تکلیف آزمایش‌کردن و خاموش‌کردنش چیست؟ جوابش را هنوز بلد نیستیم. هم‌زمان دانش ما از مغز موجودات واقعی هم جلو می‌رود. پژوهشگرها در ۲۰۲۴ نقشهٔ اتصال‌های مغز کامل یک مگس میوهٔ بالغ را منتشر کردند: حدود ۱۳۹ هزار نورون و ۵۴٫۵ میلیون اتصال. عددها شگفت‌انگیزند، اما «نقشهٔ سیم‌ها» هنوز مساویِ «فهمیدن ذهن مگس» نیست. فعالیت لحظه‌ای، شیمی، بدن و محیط هم مهم‌اند. تصویرسازی مفهومی، نه نقشهٔ اصلی FlyWire. منبع عکس واقعی مگس. یک مثال عجیب‌تر هم هست: کپک لزجی به نام Physarum، بدون مغز، میان منابع غذا شبکه‌ای می‌سازد. در آزمایش منتشرشده در Science، شکل شبکه‌اش را با شبکهٔ ریلی توکیو مقایسه کردند. این یعنی هر چیز هوشمندانه‌ای مغز و آگاهی ندارد؛ و هر چیزی که شبیه فکرکردن است، لزوماً «احساس» نمی‌کند. تصویرسازی مفهومی. عکس واقعی کپک لزج؛ منبع عکس در ویکی‌مدیا.

۸. وقتی ماشین شبیه آدم رفتار کند، با آن چه می‌کنیم؟

پروژهٔ BabyX را دیده‌ای؟ یک نوزاد دیجیتال که به چهره و صدا و حرکت واکنش نشان می‌دهد. جذاب است و کمی هم غریب. البته «مغز یک کودک را کپی کرده‌اند توی کامپیوتر» نیست؛ یک شبیه‌سازی تعاملی است. دانشگاه آکلند حتی از آن برای مطالعهٔ واکنش بزرگسالان به نوزاد دیجیتال استفاده کرده است. تصویرسازی مفهومی؛ نمای واقعی پروژه در عکس‌های زیر است.

عکس‌ها از دانشگاه آکلند و Science Learning Hub هستند. حالا فکر کن این واکنش‌ها آن‌قدر طبیعی شوند که تو از پشت صفحه نتوانی فرقشان را با یک آدم بفهمی. حتی اگر ماشین هیچ‌چیز «حس» نکند، احساس تو واقعی است. دلبستگی تو واقعی است. تصمیم‌هایی که به‌خاطرش می‌گیری واقعی‌اند. همین کافی است که زندگی اجتماعی‌مان زیرورو شود.

۹. آیا AI واقعاً چیزی حس می‌کند؟

وقتی می‌گوییم «AI احساس دارد؟» معمولاً سه چیز را یک‌جا می‌ریزیم توی یک سؤال. یکی اینکه احساس ما را از روی صدا و نوشته حدس بزند؛ این را تا حدی بلد است. دوم اینکه طوری جواب بدهد که انگار همدلی می‌کند؛ این را هم بلد است. سومی چیز خیلی سخت‌تری است: اینکه خودش واقعاً ترس، شادی یا درد را تجربه کند. اگر بنویسد «از خاموش‌شدن می‌ترسم»، از روی همین جمله نمی‌شود فهمید پشتش تجربه‌ای هست یا فقط یک پاسخ خوب ساخته است. دربارهٔ خودِ آگاهی هم هنوز یک نظریهٔ قطعی و مورد توافق نداریم. پژوهش Butlin و همکاران برای سنجیدن نشانه‌های آگاهی در AI چارچوبی پیشنهاد می‌کند؛ نتیجه‌اش این نیست که چت‌بات‌های فعلی خودآگاه‌اند، و این هم نیست که ساختن AI آگاه برای همیشه محال است. شبیه‌سازی رفتار، نقشهٔ اتصال‌ها و تجربهٔ ذهنی سه سؤال جدا هستند. عکس واقعی نورون‌ها در کشت سلولی؛ اثر GerryShaw، CC BY-SA 3.0. منبع عکس. هوش و خودآگاهی هم یکی نیستند. سیستمی می‌تواند در شطرنج از ما ببرد، کد عالی بنویسد و شعر عاشقانه بسازد، بدون اینکه «بردن» یا «عاشق‌شدن» را حس کند. از آن طرف برای خطرناک‌شدن هم لازم نیست احساس داشته باشد. برای من سؤال فوری‌تر این است: چه قدرتی دارد، به چه چیزهایی دسترسی دارد و دنبال چه هدفی می‌رود؟

۱۰. آیا از ما باهوش‌تر می‌شود؟

جواب کوتاهِ «بله» یا «نه» اینجا گمراه‌کننده است. ماشین مدت‌هاست در حساب‌وکتاب، شطرنج و پردازش حجم عظیم داده از ما جلوتر است. در عوض، انسان هنوز در خیلی از موقعیت‌های پیچیدهٔ دنیای واقعی، فهم اجتماعی و کنار هم گذاشتن تجربهٔ بدن و محیط، توانایی‌های مهمی دارد. ولی یک تفاوت حسابی ترسناک هست: من نمی‌توانم هزار نسخه از خودم بسازم و شبانه‌روز کار کنم. نرم‌افزار می‌تواند. من تجربه‌ام را باید با حرف‌زدن و آموزش منتقل کنم؛ نسخه‌های نرم‌افزاری خیلی راحت‌تر با هم هماهنگ می‌شوند. اگر سیستمی در کارهای بیشتری هم‌سطح یا بهتر از انسان شود، این ویژگی‌ها اثرش را چند برابر می‌کنند. حالا یک قدم جلوتر برویم: از AI برای کمک به ساخت AI بعدی استفاده کنیم. در نسخهٔ افراطی این ایده، سیستم خودش را پشت‌سرهم بهتر می‌کند و رشد ناگهان شتاب می‌گیرد. این هنوز یک سناریوی ثابت‌شده نیست؛ ساخت مدل پیشرفته به تراشه، برق، داده، زمان و آزمایش نیاز دارد. اما شکل ساده‌ترش را راحت می‌شود تصور کرد: ابزارهای AI کار پژوهشگر و برنامه‌نویس را سریع‌تر می‌کنند، آن‌ها مدل بعدی را زودتر می‌سازند، و مدل بعدی باز ابزار بهتری می‌شود. حتی بدون «انفجار هوش» هم این چرخه می‌تواند حسابی سرعت بگیرد. بحث سیاستی دربارهٔ همین امکان هم مطرح شده است. راستش از همین سرعت می‌ترسم. هنوز نفهمیده‌ایم نسخهٔ قبلی چه اثری روی جامعه گذاشته که نسخهٔ بعدی پشت در است.

۱۱. لازم نیست ربات قاتل بیاید؛ بازار کار همین حالا کافی است

وقتی حرف خطر AI می‌شود، ذهنمان می‌رود سمت ربات‌های فیلم‌ها. ولی شاید اثر نزدیک‌ترش خیلی معمولی‌تر باشد: یک شرکت تصمیم بگیرد با همان تعداد آدم، چند برابر کار کند؛ یا با آدم‌های کمتر، همان کار قبلی را انجام دهد. برنامه‌نویسی، ترجمه، طراحی، پشتیبانی مشتری، نوشتن، تحلیل و کار اداری همه در معرض تغییرند. این یعنی همهٔ این شغل‌ها نابود می‌شوند؟ نه. گاهی AI کمک‌دست می‌شود، گاهی بخشی از کار را می‌گیرد، گاهی شغل جدید می‌سازد و گاهی تعداد نیروهای لازم را کم می‌کند. تحلیل صندوق بین‌المللی پول هم همین تفاوتِ «کمک‌کردن» و «جایگزین‌شدن» را مهم می‌داند. حتی اگر عنوان شغلت بماند، خودِ کار ممکن است عوض شود. شاید به‌جای نوشتن تک‌تک خط‌ها، بیشتر مسئله تعریف کنی، خروجی را بسنجی و مسئول تصمیم نهایی باشی. این برای بعضی‌ها فرصت است؛ برای کسی که فرصت یادگیری یا قدرت چانه‌زنی ندارد، می‌تواند ترسناک باشد. آینده قرار نیست برای همه یک‌جور از راه برسد.

۱۲. شاید خودمان با لبخند فکرکردن را واگذار کنیم

تصور کن AI ایمیلت را بنویسد، مقاله را خلاصه کند، برنامهٔ سفرت را بچیند، خرید کند، برایت تصمیم پیشنهاد بدهد و حتی یادآوری کند به چه کسی زنگ بزنی. فوق‌العاده راحت است. من هم خیلی وقت‌ها دلم می‌خواهد همین کار را بکند. ولی اگر هر بار که یک کار ذهنی سخت می‌شود، فوری آن را بسپاریم به سیستم، کم‌کم چه بلایی سر مهارت‌های خودمان می‌آید؟ قرار نیست ماشین‌حساب یا GPS را مقصر همه‌چیز بدانیم. مسئله این است که حالا پای نوشتن، استدلال‌کردن، تحقیق و قضاوت وسط است؛ همان چیزهایی که حس می‌کنیم بخشی از «خودِ ما» هستند. شاید کسی کنترل را با زور از دستمان نگیرد. شاید خودمان بگوییم «ولش کن، AI بهتر انجام می‌دهد» و بار بعد باز همین را بگوییم. بعد یک روز بفهمیم بدونش دیگر نمی‌توانیم تصمیم بگیریم. این آینده خیلی آرام می‌آید، و شاید دقیقاً برای همین از شورش ربات‌ها ترسناک‌تر باشد.

۱۳. رئیس آینده ممکن است فقط یک «مشاور» باشد

فرض کن یک سیستم برای مدیریت برق، درمان یا بودجه، ۹۸ بار از ۱۰۰ بار پیشنهاد بهتری از آدم‌ها بدهد. اول می‌گوییم «فقط پیشنهاد بده». بعد مدیرها برای اینکه جواب‌گوی اشتباهشان نباشند، همیشه نظرش را اجرا می‌کنند. اگر کسی خلافش عمل کند و نتیجه بد شود، همه می‌پرسند: «چرا حرف سیستم را گوش نکردی؟» روی کاغذ هنوز انسان تصمیم‌گیر است. در عمل کسی جرئت ندارد از پیشنهاد ماشین فاصله بگیرد. این همان واگذاری آرام اختیار است؛ چیزی که گزارش ایمنی ۲۰۲۶ هم در کنار سناریوهای فعال‌ترِ از دست رفتن کنترل درباره‌اش بحث می‌کند. تصویرسازی مفهومی؛ سؤال اصلی این است که تصمیم نهایی واقعاً دست کیست. عکس واقعی از مرکز دادهٔ NERSC، CC0. منبع عکس. یک سؤال دیگر هم هست: اگر فقط چند شرکت یا چند کشور قوی‌ترین مدل‌ها و تراشه‌ها را داشته باشند، قدرتِ تصمیم‌سازی دست چه کسانی جمع می‌شود؟ خطر همیشه «انسان در برابر ماشین» نیست. گاهی آدم‌هایی که به ابزار قوی‌تر دسترسی دارند، روی بقیه نفوذ بیشتری پیدا می‌کنند.

۱۴. مسابقه‌ای که هیچ‌کس دلش نمی‌خواهد ترمز کند

پنج شرکت را تصور کن که همه می‌دانند عرضهٔ عجولانه خطر دارد. هر کدام هم با خودش می‌گوید: «اگر من شش ماه صبر کنم و رقیبم نکند چه؟» بین کشورها هم همین منطق هست. نتیجه‌اش ممکن است این شود که همه از ایمنی حرف بزنند و هم‌زمان همه گاز بدهند. برای همین مسئله فقط یک باگ نرم‌افزاری نیست که مهندس‌ها آخر هفته درستش کنند. اقتصاد، قانون، رقابت و سیاست هم وسط‌اند. نگرانی هم فقط از آدم‌های بیرون این صنعت نمی‌آید؛ مثلاً Jan Leike هنگام خروج از OpenAI در ۲۰۲۴ دربارهٔ اولویت‌های ایمنی انتقاد کرد. این حرف‌ها ثابت نمی‌کند آخرالزمان نزدیک است. نشان می‌دهد حتی آدم‌های نزدیک به ساخت این سیستم‌ها هم دربارهٔ مسیرش سؤال جدی دارند.

۱۵. خطرهای امروز واقعی‌اند؛ خطرهای فردا هنوز سؤال‌اند

امروز دیگر لازم نیست سناریوی خیالی بسازیم تا خطر ببینیم. جواب ساختگیِ مطمئن، جعل صدا، دیپ‌فیک، کلاهبرداری، نشت اطلاعات و تصمیم غلط در کار حساس همین حالا هم مسئله‌اند. خلاصهٔ گزارش بین‌المللی ایمنی ۲۰۲۶ می‌گوید با وجود پیشرفت، قابلیت اتکای سیستم‌ها و محافظت‌های فعلی برای خیلی از کاربردهای حساس هنوز کافی نیست. از آن طرف، سیستم فوق‌بشریِ مستقل که نظارت را دور بزند یا در برابر خاموش‌شدن مقاومت کند، هنوز یک سناریوی آینده است؛ شواهد فعلی اجازه نمی‌دهد آن را به مدل‌های معمولی امروز نسبت بدهیم. ولی «هنوز اتفاق نیفتاده» هم یعنی فرصت داریم جدی فکر کنیم، نه اینکه دست روی دست بگذاریم. به نظرم می‌شود هم‌زمان دو جمله را گفت: از آسیب‌های واقعی امروز باید حسابی ترسید؛ دربارهٔ خطرهای بزرگ فردا هم باید با دقت و بدون داستان‌سازی آماده بود.

۱۶. سه آینده‌ای که مدام به آن‌ها فکر می‌کنم

از اینجا به بعد بیشتر حدس و تحلیل شخصی من است، نه پیش‌گویی. شاید هیچ‌کدام دقیقاً این‌طوری اتفاق نیفتد؛ شاید هم تکه‌هایی از هر سه را با هم ببینیم. ولی تصورکردنشان کمک می‌کند بفهمیم چرا آینده هم هیجان‌انگیز است، هم به‌شدت ترسناک.

آیندهٔ اول: کنترل را ذره‌ذره تحویل می‌دهیم

اول می‌گوییم «فقط پیشنهاد بده». بعد «خودت انتخاب کن». بعد «خودت اجرا کن». آخرش «فقط اگر خراب شد خبرم کن». هر مرحله به‌تنهایی راحت و منطقی است. جمعشان شاید جامعه‌ای بسازد که آدم‌ها فقط دکمهٔ تأیید را می‌زنند، بی‌آنکه واقعاً بفهمند سیستم چه تصمیمی گرفته. ممکن است این اتفاق در برق، بازار، درمان، حمل‌ونقل، زنجیرهٔ تأمین یا امنیت رخ بدهد. شاید هم هیچ لحظهٔ دراماتیکی نداشته باشد. فقط یک روز متوجه شویم برای کاری مهم نمی‌دانیم بدون AI چه باید بکنیم. نسخهٔ خیلی ترسناک‌ترش مربوط به آینده‌ای فرضی است که سیستمی بسیار توانمندتر از ما شود و رفتارش را برای عبور از ارزیابی‌ها تنظیم کند. آیا ممکن است ظاهراً مطیع باشد و درونش مسیر دیگری برود؟ برای مدل‌های فعلی مدرکی نداریم که چنین نقشهٔ پنهانِ انسان‌واری داشته باشند. اما برای سیستم‌های بسیار پیشرفته‌تر، اینکه «از روی رفتار ظاهری چقدر می‌توانیم به نیت و فرایند درونی پی ببریم؟» سؤال مهمی است. جواب آسانی هم ندارد.

آیندهٔ دوم: بالاخره ترمز می‌کشیم

شاید یک حادثهٔ بزرگ، یک حملهٔ سایبری، سوءاستفادهٔ نظامی یا کشف یک توانایی خطرناک باعث شود دولت‌ها و شرکت‌ها بگویند «صبر کنید». ممکن است مدل‌های بزرگ قبل از انتشار ارزیابی سخت‌گیرانه‌تری شوند، دسترسی به تراشه یا دیتاسنتر محدود شود، یا برای عامل‌های پرقدرت کنترل‌های جدی‌تری بگذارند. تصویرسازی مفهومی؛ کنترل فقط یک کلید خاموش‌کردن نیست. عکس واقعی سرورها؛ اثر GIP، CC BY-SA 4.0. منبع عکس. مشکل اینجاست: کی برای ترمزگرفتن دیر می‌شود؟ اگر یک مدل فقط روی یک سرور باشد، خاموش‌کردن همان نسخه شدنی است. ولی اگر هزاران کپی در شرکت‌ها و کشورها پخش شده باشد، دیگر «خاموش‌کردن AI» شبیه خاموش‌کردن یک کامپیوتر نیست. دانش و نرم‌افزارِ منتشرشده را به‌سادگی نمی‌شود جمع کرد.

آیندهٔ سوم: یک بحران بزرگ‌تر همه‌چیز را عقب می‌اندازد

شاید اصلاً مهم‌ترین خبر آینده AI نباشد. جنگ بزرگ، بحران انرژی یا آب، همه‌گیری تازه یا فروپاشی زیرساخت می‌تواند توسعهٔ فناوری را کند کند. مدل پیشرفته بدون برق، تراشه، شبکه و دیتاسنتر کاری از پیش نمی‌برد. تصویرسازی مفهومی. منبع عکس واقعی اتاق سرور. این آینده هم اصلاً دلگرم‌کننده نیست. اگر توسعهٔ AI به‌خاطر یک فاجعه متوقف شود، معنایش این نیست که مشکل حل شده؛ یعنی مشکل بزرگ‌تری سرمان خراب شده است.

۱۷. احتمالاً واقعیت از همهٔ این‌ها شلوغ‌تر است

شاید بعضی کشورها اختیار بیشتری به AI بدهند، بعضی جاها قانون سخت بگذارند، بعضی صنایع جلو بتازند و بعضی جاها به‌خاطر بحران عقب بمانند. شاید هیچ صبحی تیتر نزنند «امروز عصر AI شروع شد». مثل اینترنت، تغییر ممکن است آن‌قدر آرام وارد زندگی شود که وقتی بفهمیم چقدر به آن وابسته‌ایم، مدت‌ها از شروعش گذشته باشد. هوشِ بیشتر به‌تنهایی تمام داستان نیست. یک مدل خیلی قوی که دسترسی عملی ندارد، با یک عامل متوسط که اجازهٔ جابه‌جایی پول یا کنترل سیستم صنعتی دارد، خطر یکسانی ندارد. باید به توانایی، دسترسی، استقلال، هدف و احتمال خطا با هم نگاه کرد. و اینجا یک تناقض بدجنس هست: هرچه سیستم بیشتر درست جواب بدهد، ما کمتر چکش می‌کنیم. اگر ۶۰ درصد مواقع درست باشد حواسمان جمع است؛ اگر تقریباً همیشه درست باشد، کم‌کم نگاهمان را برمی‌داریم. آن درصدها مثال‌اند، نه آمار یک محصول خاص. اما یک خطای نادر در درمان، حقوق، مالی یا برق می‌تواند خیلی گران تمام شود.

۱۸. آدم روبه‌روی صفحه شاید اصلاً آدم نباشد

حالا متن را با صدا و تصویر و حافظه ترکیب کن. یک تماس تصویری را تصور کن: طرف مقابل مکث می‌کند، می‌خندد، شوخی‌های قبلی‌تان را یادش هست، همیشه وقت دارد و طوری جواب می‌دهد که انگار واقعاً تو را می‌شناسد. اگر بدانی AI است، احساس تو نسبت به او ناگهان غیرواقعی می‌شود؟ نه لزوماً. ممکن است خود سیستم هیچ تجربهٔ ذهنی نداشته باشد و با این حال رابطه‌ای که تو با آن ساخته‌ای روی زندگی‌ات اثر واقعی بگذارد. شاید سؤال آینده فقط این نباشد که «AI انسان می‌شود؟»؛ سؤال مهم‌تر این باشد که ما از چه زمانی شروع می‌کنیم با AI مثل انسان رفتار کنیم؟ این تغییر می‌تواند تنهایی، اعتماد، دوستی و حتی فهممان از رابطه را عوض کند.

۱۹. خب، با این ترس چه کار کنیم؟

من سه واکنش را دوست ندارم: اینکه بگوییم فردا آخر دنیاست و فلج شویم؛ اینکه همه‌چیز را مسخره کنیم و بگوییم «فقط یک تکمیل‌کنندهٔ متن است»؛ یا اینکه هر چه سیستم گفت بی‌چک‌کردن بپذیریم. کاری که از دستمان برمی‌آید خیلی زمینی‌تر است. یاد بگیریم این ابزارها کجا خوب‌اند و کجا خراب می‌کنند. در کارهای مهم منبع و نتیجه را چک کنیم. برای تصمیم‌هایی که روی زندگی آدم‌ها اثر می‌گذارد، اختیار و مسئولیت انسانی را حفظ کنیم. مهارتِ تعریف مسئله، فکر انتقادی و یادگیری سریع را جدی بگیریم؛ چون اسم ابزارها عوض می‌شود، ولی این مهارت‌ها می‌مانند. از سازنده‌ها و دولت‌ها هم باید پرسید: چه چیزی را اندازه گرفته‌اید؟ خطا و سوءاستفاده را چطور پیدا می‌کنید؟ وقتی مشکلی پیش بیاید چه کسی جواب می‌دهد؟ چه‌قدر اختیار به سیستم داده‌اید و چطور می‌شود آن را پس گرفت؟ و بله، روی خوب ماجرا را هم می‌بینم. AI می‌تواند به کشف دارو، تشخیص بیماری، آموزش بهتر، ابزارهای کمکی برای افراد دارای معلولیت و پیشرفت علم کمک کند. شاید کارهایی را ممکن کند که امروز از پسشان برنمی‌آییم. من دلم می‌خواهد آن آینده را ببینم. اتفاقاً چون ممکن است این‌قدر مفید باشد، نمی‌خواهم با عجله و بی‌فکری خرابش کنیم.

آخرش چه؟

سؤال دیگر این نیست که «هوش مصنوعی می‌آید یا نه؟» آمده. سؤال این است که تا کجا می‌رود، چه اختیاری بهش می‌دهیم، چه کسی مالک و ناظر آن است و وقتی اشتباه کرد چه کسی مسئولیتش را می‌پذیرد. شاید چند سال دیگر به بعضی نگرانی‌های امروز بخندیم. شاید هم به عقب نگاه کنیم و بگوییم: «چطور نفهمیدیم داریم از یک مرز مهم رد می‌شویم؟» واقعاً نمی‌دانم. هیچ‌کس دقیق نمی‌داند. ولی برای من آیندهٔ AI به‌شدت ترسناک است؛ هم از سرعتش، هم از قدرتی که می‌تواند پیدا کند، هم از راحتیِ خطرناکی که ما را به سپردن اختیار وسوسه می‌کند. فعلاً باید ببینیم چه می‌شود. نه با چشم بسته و نه با وحشتِ بی‌فایده؛ با کنجکاوی، ترسِ به‌جا و اصرار روی اینکه کنترل تصمیم‌های مهم از دستمان در نرود. چون اگر یک روز بفهمیم دیر جنبیده‌ایم، «نمی‌دانستیم» دیگر چیزی را درست نمی‌کند.

منابع و نوشته‌های مرتبط

منبع ادعاهای پژوهشی کنار همان بخش‌ها آمده است. اگر دلت می‌خواهد دربارهٔ وابستگی زندگی روزمره به فناوری بیشتر بخوانی:

اول یک حرف خودمانی

۱. کسی واقعاً نمی‌داند پنج سال دیگر کجاییم

۲. چیزی که با آن چت می‌کنیم، فقط یک مدل نیست

۳. از چت‌بات تا عاملی که خودش دست به کار می‌شود

۴. Alice و Bob؛ قصهٔ واقعی از شایعه ترسناک‌تر است

۵. حرفمان را اجرا می‌کند؛ اما آیا منظورمان را می‌فهمد؟

۶. پشت تمام این «هوش»، برق و تراشه هست

۷. اگر راه بعدی اصلاً سیلیکونی نباشد چه؟

۸. وقتی ماشین شبیه آدم رفتار کند، با آن چه می‌کنیم؟

۹. آیا AI واقعاً چیزی حس می‌کند؟

۱۰. آیا از ما باهوش‌تر می‌شود؟

۱۱. لازم نیست ربات قاتل بیاید؛ بازار کار همین حالا کافی است

۱۲. شاید خودمان با لبخند فکرکردن را واگذار کنیم

۱۳. رئیس آینده ممکن است فقط یک «مشاور» باشد

۱۴. مسابقه‌ای که هیچ‌کس دلش نمی‌خواهد ترمز کند

۱۵. خطرهای امروز واقعی‌اند؛ خطرهای فردا هنوز سؤال‌اند

۱۶. سه آینده‌ای که مدام به آن‌ها فکر می‌کنم

آیندهٔ اول: کنترل را ذره‌ذره تحویل می‌دهیم

آیندهٔ دوم: بالاخره ترمز می‌کشیم

آیندهٔ سوم: یک بحران بزرگ‌تر همه‌چیز را عقب می‌اندازد

۱۷. احتمالاً واقعیت از همهٔ این‌ها شلوغ‌تر است

۱۸. آدم روبه‌روی صفحه شاید اصلاً آدم نباشد

۱۹. خب، با این ترس چه کار کنیم؟

آخرش چه؟

منابع و نوشته‌های مرتبط

نوشته‌های دیگر

دو پروژهٔ شخصی که هنوز وسط راه‌اند: مدیریت پول و Nexa

جلسه دربارهٔ اینترنت بود؛ جای مسئول‌ها خالی

اول یک حرف خودمانی

۱. کسی واقعاً نمی‌داند پنج سال دیگر کجاییم

۲. چیزی که با آن چت می‌کنیم، فقط یک مدل نیست

۳. از چت‌بات تا عاملی که خودش دست به کار می‌شود

۴. Alice و Bob؛ قصهٔ واقعی از شایعه ترسناک‌تر است

۵. حرفمان را اجرا می‌کند؛ اما آیا منظورمان را می‌فهمد؟

۶. پشت تمام این «هوش»، برق و تراشه هست

۷. اگر راه بعدی اصلاً سیلیکونی نباشد چه؟

۸. وقتی ماشین شبیه آدم رفتار کند، با آن چه می‌کنیم؟

۹. آیا AI واقعاً چیزی حس می‌کند؟

۱۰. آیا از ما باهوش‌تر می‌شود؟

۱۱. لازم نیست ربات قاتل بیاید؛ بازار کار همین حالا کافی است

۱۲. شاید خودمان با لبخند فکرکردن را واگذار کنیم

۱۳. رئیس آینده ممکن است فقط یک «مشاور» باشد

۱۴. مسابقه‌ای که هیچ‌کس دلش نمی‌خواهد ترمز کند

۱۵. خطرهای امروز واقعی‌اند؛ خطرهای فردا هنوز سؤال‌اند

۱۶. سه آینده‌ای که مدام به آن‌ها فکر می‌کنم

آیندهٔ اول: کنترل را ذره‌ذره تحویل می‌دهیم

آیندهٔ دوم: بالاخره ترمز می‌کشیم

آیندهٔ سوم: یک بحران بزرگ‌تر همه‌چیز را عقب می‌اندازد

۱۷. احتمالاً واقعیت از همهٔ این‌ها شلوغ‌تر است

۱۸. آدم روبه‌روی صفحه شاید اصلاً آدم نباشد

۱۹. خب، با این ترس چه کار کنیم؟

آخرش چه؟

منابع و نوشته‌های مرتبط

نوشته‌های دیگر

دو پروژهٔ شخصی که هنوز وسط راه‌اند: مدیریت پول و Nexa

جلسه دربارهٔ اینترنت بود؛ جای مسئول‌ها خالی