فصل ۲۷: فلسفه، اخلاق و ایمنی هوش مصنوعی (Philosophy, Ethics, and Safety of AI)
فیلسوفان مدتِ طولانی است پرسش‌های بزرگ می‌پرسند: ذهن‌ها چگونه کار می‌کنند؟ آیا ممکن است ماشین‌ها به‌شیوه‌ای که مردم انجام می‌دهند هوشمندانه عمل کنند؟ آیا چنین ماشین‌هایی ذهن‌های واقعی و خودآگاه خواهند داشت؟ به این‌ها، پرسش‌های تازه‌ای می‌افزاییم: پیامدهای اخلاقیِ ماشین‌های هوشمند در استفادهٔ روزمره چیست؟ آیا باید به ماشین‌ها اجازه داده شود تصمیم بگیرند انسان‌ها را بکشند؟ آیا الگوریتم‌ها می‌توانند منصفانه و بدونِ اریب باشند؟ اگر ماشین‌ها بتوانند همهٔ انواعِ کار را انجام دهند، انسان‌ها چه خواهند کرد؟ و چگونه ماشین‌هایی را کنترل می‌کنیم که ممکن است از ما هوشمندتر شوند؟
در ۱۹۸۰، فیلسوفِ جان سرل تمایزی بینِ «هوش مصنوعیِ ضعیف» (Weak AI)—ایدهٔ اینکه ماشین‌ها می‌توانستند طوری عمل کنند که گویی هوشمندند—و «هوش مصنوعیِ قوی» (Strong AI)—ادعای اینکه ماشین‌هایی که چنین می‌کنند در واقع آگاهانه فکر می‌کنند (نه فقط شبیه‌سازیِ فکر)—معرفی کرد. در طولِ زمان، تعریفِ هوش مصنوعیِ قوی تغییر کرد تا به چیزی اشاره کند که «هوش مصنوعیِ سطح-انسان» یا «هوش مصنوعیِ عمومی» نیز نامیده می‌شود—برنامه‌هایی که می‌توانند طیفِ دلخواهاً وسیعی از تکلیف‌ها، از جملهِ تکلیف‌های تازه، را حل کنند و این کار را به‌خوبیِ انسان انجام دهند. منتقدانِ هوش مصنوعیِ ضعیف که به خودِ امکانِ رفتارِ هوشمندانه در ماشین‌ها اعتراض داشتند، اکنون به همان اندازهٔ سایمون نیوکامب کم‌بین به نظر می‌رسند، که در اکتبرِ ۱۹۰۳ نوشت «پروازِ هوایی یکی از آن طبقهٔ بزرگِ مسائلی است که انسان هرگز نمی‌تواند از پسش برآید»—فقط دو ماه پیش از پروازِ برادران رایت در کیتی‌هاوک. پیشرفتِ سریعِ سال‌های اخیر، با این حال، ثابت نمی‌کند هیچ محدودیتی برای آنچه هوش مصنوعی می‌تواند به دست آورد نیست. آلن تورینگ (1950)، نخستین کسی که هوش مصنوعی را تعریف کرد، همچنین نخستین کسی بود که اعتراض‌های احتمالی به هوش مصنوعی را مطرح کرد و تقریباً همهٔ آن‌هایی را که بعداً توسط دیگران مطرح شدند پیش‌بینی کرد.
«استدلال از غیررسمی‌بودنِ رفتار»یِ تورینگ می‌گوید رفتارِ انسانی برای درگیرشدن در هر مجموعهٔ صوری از قاعده‌ها بسیار پیچیده است—انسان‌ها باید از برخی رهنمودهای غیررسمی استفاده کنند که (به ادعایِ استدلال) هرگز نمی‌توانند در مجموعه‌ای صوری از قاعده‌ها درگیر شوند و بنابراین هرگز نمی‌توانند در برنامهٔ رایانه‌ای مدون شوند.
مدافعِ کلیدیِ این دیدگاه هوبرت دریفوس بود، که مجموعه‌ای از نقدهای تأثیرگذار بر هوش مصنوعی تولید کرد: «آنچه رایانه‌ها نمی‌توانند انجام دهند» (1972)، دنبالهٔ آن «آنچه رایانه‌ها همچنان نمی‌توانند انجام دهند» (1992)، و، با برادرش استوارت، «ذهن بر ماشین» (1986). به‌همین‌سان، فیلسوفِ کنت سایر (1993) گفت «هوش مصنوعیِ دنبال‌شده در کیشِ محاسبه‌گرایی حتی یک شانسِ شبح‌گونه هم برای تولیدِ نتایجِ ماندگار ندارد.» فناوری‌ای که آن‌ها نقد می‌کردند به نامِ «هوش مصنوعیِ قدیمیِ خوب» (Good Old-Fashioned AI یا GOFAI) شناخته شد.
GOFAI با ساده‌ترین طراحیِ عاملِ منطقیِ توصیف‌شده در فصل ۷ متناظر است، و آنجا دیدیم درگیرکردنِ هر پیشامدِ رفتارِ مناسب در مجموعه‌ای از قاعده‌های منطقیِ لازم و کافی واقعاً دشوار است؛ آن را مسئلهٔ صلاحیت نامیدیم. اما چنان‌که در فصل ۱۲ دیدیم، سامانه‌های استدلالِ احتمالاتی برای حوزه‌های بازپایان مناسب‌ترند، و چنان‌که در فصل ۲۱ دیدیم، سامانه‌های یادگیری عمیق در انواعِ تکلیف‌های «غیررسمی» خوب عمل می‌کنند. پس، نقد متوجهِ خودِ رایانه‌ها نیست، بلکه متوجهِ سبکِ خاصی از برنامه‌نویسیِ آن‌ها با قاعده‌های منطقی است—سبکی که در دههٔ ۱۹۸۰ محبوب بود اما توسط رویکردهای تازه تحت‌الشعاع قرار گرفته.
یکی از قوی‌ترین استدلال‌های دریفوس به نفعِ عامل‌های موقعیت‌مند است، نه موتورهای استنتاجِ منطقیِ بی‌جسم. عاملی که فهمش از «سگ» فقط از مجموعه‌ای محدود از جمله‌های منطقی مانندِ «Dog(x) ⇒ Mammal(x)» می‌آید، در مقایسه با عاملی که سگ‌ها را در حالِ دویدن دیده، با آن‌ها بازیِ فچ کرده و توسط یکی لیسیده شده، در مضیقه است. چنان‌که فیلسوفِ اندی کلارک (1998) می‌گوید، «مغزهای زیستی اول از همه سامانه‌های کنترلِ بدن‌های زیستی‌اند. بدن‌های زیستی در محیط‌های غنیِ جهانِ واقعی حرکت و عمل می‌کنند.» به گفتهٔ کلارک، ما «در فریزبی خوبیم، در منطق بدیم.»
رویکردِ «شناختِ تجسم‌یافته» (Embodied Cognition) ادعا می‌کند درنظرگرفتنِ مغز به‌صورتِ جداگانه معنا ندارد: شناخت درونِ بدنی رخ می‌دهد که در محیطی جاسازی شده. باید سامانه را به‌عنوانِ کل مطالعه کنیم؛ عملکردِ مغز از نظم‌های محیطش، از جملهِ بقیهٔ بدنش، بهره برداری می‌کند. تحتِ رویکردِ شناختِ تجسم‌یافته، رباتیک، بینایی و دیگر حس‌گذارها مرکزی می‌شوند، نه پیرامونی.
در مجموع، دریفوس حوزه‌هایی را دید که هوش مصنوعی در آن‌ها پاسخ‌های کامل نداشت و گفت بنابراین هوش مصنوعی ناممکن است؛ ما اکنون بسیاری از همین حوزه‌ها را در حالِ پژوهش و توسعهٔ ادامه‌دار می‌بینیم که به تواناییِ فزاینده می‌انجامند، نه ناممکنی.
«استدلال از ناتوانی» ادعا می‌کند «ماشین هرگز نمی‌تواند X انجام دهد.» به‌عنوانِ مثال‌هایی از X، تورینگ مواردِ زیر را فهرست می‌کند:
مهربان، مدبر، زیبا، دوستانه بودن، ابتکار داشتن، حسِ شوخ‌طبعی داشتن، درست را از نادرست تشخیص دادن، اشتباه‌کردن، عاشق‌شدن، از توت‌فرنگی با خامه لذت‌بردن، کسی را عاشقِ خود کردن، از تجربه یادگرفتن، استفادهٔ درست از واژه‌ها، موضوعِ اندیشهٔ خود بودن، به‌اندازهٔ انسان تنوعِ رفتار داشتن، کاری واقعاً تازه کردن.
به‌صورتِ گذشته‌نگر، برخی از این‌ها نسبتاً آسان‌اند—همهٔ ما با رایانه‌هایی که «اشتباه می‌کنند» آشنا هستیم. رایانه‌های با قابلیتِ فراستدلال (فصل 5) می‌توانند محاسباتِ خودشان را بررسی کنند، و بنابراین موضوعِ استدلالِ خودشان باشند. فناوریِ صدساله‌ای تواناییِ اثبات‌شدهٔ «عاشقِ خودکردنِ کسی» را دارد—خرسِ عروسکی. کارشناسِ شطرنجِ رایانه‌ای دیوید لوی پیش‌بینی می‌کند تا 2050 مردم به‌طورِ معمول عاشقِ ربات‌های انسان‌نما خواهند شد. در موردِ عاشق‌شدنِ خودِ ربات، این تمِ رایجی در داستان‌هاست،¹ اما فقط گمانه‌پردازیِ دانشگاهیِ محدودی دربارهٔ این موضوع بوده (کیم و همکاران، 2007). رایانه‌ها کارهای «واقعاً تازه‌ای» انجام داده‌اند، با کشف‌های چشمگیر در نجوم، ریاضیات، شیمی، کانی‌شناسی، زیست‌شناسی، علومِ رایانه و حوزه‌های دیگر، و ایجادِ شکل‌های تازه‌ای از هنر از طریقِ انتقالِ سبک (گاتیس و همکاران، 2016). در مجموع، برنامه‌ها در برخی تکلیف‌ها از عملکردِ انسانی فراتر می‌روند و در برخی دیگر عقب می‌مانند. تنها چیزی که روشن است نمی‌توانند انجام دهند دقیقاً انسان‌بودن است.
تورینگ (1936) و گودل (1931) اثبات کردند برخی پرسش‌های ریاضی در اصل توسط سامانه‌های صوریِ خاصی پاسخ‌ناپذیرند. قضیهٔ ناتمامیتِ گودل (بخش 9.5 را ببینید) مشهورترین نمونهٔ این است. به‌طورِ خلاصه، برای هر چارچوبِ اصل‌موضوعیِ صوریِ F که به‌اندازهٔ کافی قدرتمند باشد که حساب انجام دهد، امکانِ ساختِ به‌اصطلاح «جملهٔ گودل»ی G(F) با ویژگی‌های زیر هست:
فیلسوفانی مانندِ جی. آر. لوکاس (1961) ادعا کرده‌اند این قضیه نشان می‌دهد ماشین‌ها از نظرِ ذهنی از انسان‌ها فروترند، زیرا ماشین‌ها سامانه‌های صوری‌اند که توسط قضیهٔ ناتمامیت محدود می‌شوند—آن‌ها نمی‌توانند صدقِ جملهٔ گودلِ خودشان را برقرار کنند—در حالی که انسان‌ها چنین محدودیتی ندارند. این جنجالِ زیادی ایجاد کرده و ادبیاتِ عظیمی را زاییده، از جملهِ دو کتاب از ریاضی‌دان/فیزیکدانِ سر راجر پنروز (1989, 1994). پنروز ادعای لوکاس را با چند پیچِ تازه تکرار می‌کند، مانندِ فرضیهٔ اینکه انسان‌ها متفاوت‌اند، زیرا مغزشان با گرانشِ کوانتومی کار می‌کند—نظریه‌ای که پیش‌بینی‌های نادرستِ متعددی دربارهٔ فیزیولوژیِ مغز می‌کند.
سه مورد از مشکلاتِ ادعای لوکاس را بررسی خواهیم کرد. نخست، عامل نباید شرمنده باشد که نمی‌تواند صدقِ جمله‌ای را برقرار کند در حالی که عامل‌های دیگر می‌توانند. جملهٔ زیر را در نظر بگیر:
لوکاس نمی‌تواند به‌صورتِ سازگار ادعا کند این جمله صادق است.
اگر لوکاس این جمله را ادعا می‌کرد، با خودش تناقض می‌داشت، پس بنابراین لوکاس نمی‌تواند به‌صورتِ سازگار آن را ادعا کند، و از این رو صادق است. پس نشان داده‌ایم جملهٔ صادقی هست که لوکاس نمی‌تواند به‌صورتِ سازگار ادعایش کند در حالی که مردمِ دیگر (و ماشین‌ها) می‌توانند. اما این باعث نمی‌شود دربارهٔ لوکاس کمتر فکر کنیم.
دوم، قضیهٔ ناتمامیتِ گودل و نتایجِ مرتبط به ریاضیات اعمال می‌شوند، نه به رایانه‌ها. هیچ موجودیتی—انسانی یا ماشینی—نمی‌تواند چیزهایی را اثبات کند که اثباتشان ناممکن است. لوکاس و پنروز به‌صورتِ نادرست فرض می‌کنند انسان‌ها به‌نحوی می‌توانند از این محدودیت‌ها دور بزنند، چنان‌که لوکاس (1976) می‌گوید «باید سازگاریِ خودمان را فرض کنیم، اگر قرار است اندیشه اصلاً ممکن باشد.» اما این فرضِ بی‌دلیلی است: انسان‌ها به‌شکلِ بدنامی ناسازگارند. این قطعاً برای استدلالِ روزمره صادق است، اما برای اندیشهٔ ریاضیِ دقیق نیز صادق است. مثالِ مشهوری مسئلهٔ نقشهٔ چهاررنگ است. آلفرد کمپ (1879) اثباتی منتشر کرد که برای ۱۱ سال به‌طورِ گسترده‌ای پذیرفته شد تا پرسی هیوود (1890) به نقصی اشاره کرد.
سوم، قضیهٔ ناتمامیتِ گودل از نظرِ فنی فقط برای سامانه‌های صوریِ به‌اندازهٔ کافی قدرتمند برای انجامِ حساب اعمال می‌شود. این شاملِ ماشین‌های تورینگ است، و ادعای لوکاس تا حدی بر این گزاره مبتنی است که رایانه‌ها با ماشین‌های تورینگ هم‌ارزند. این کاملاً درست نیست. ماشین‌های تورینگ نامتناهی‌اند، در حالی که رایانه‌ها (و مغزها) متناهی‌اند، و هر رایانه‌ای بنابراین می‌تواند به‌عنوانِ سامانه‌ای (بسیار بزرگ) در منطقِ گزاره‌ای توصیف شود، که تابعِ قضیهٔ ناتمامیتِ گودل نیست. لوکاس فرض می‌کند انسان‌ها می‌توانند «نظرشان را عوض کنند» در حالی که رایانه‌ها نمی‌توانند، اما آن نیز نادرست است—رایانه می‌تواند پس از شاهدِ تازه یا تعمقِ بیشتر نتیجه‌ای را پس بگیرد؛ می‌تواند سخت‌افزارش را ارتقا دهد؛ و می‌تواند فرایندهای تصمیم‌گیری‌اش را با یادگیریِ ماشینی یا بازنویسیِ نرم‌افزار تغییر دهد.
آلن تورینگ، در مقالهٔ مشهورش «ماشین‌های محاسبه و هوش» (1950)، پیشنهاد کرد به‌جای پرسیدنِ اینکه آیا ماشین‌ها می‌توانند فکر کنند، بپرسیم آیا ماشین‌ها می‌توانند آزمونِ رفتاری‌ای را پاس کنند، که به نامِ «آزمونِ تورینگ» شناخته شده. این آزمون ایجاب می‌کند برنامه‌ای گفتگویی (از طریقِ پیام‌های تایپ‌شده) با بازجو به‌مدتِ پنج دقیقه داشته باشد. بازجو سپس باید حدس بزند گفتگو با برنامه است یا شخص؛ برنامه آزمون را پاس می‌کند اگر ۳۰٪ مواقع بازجو را بفریبد. برای تورینگ، نکتهٔ کلیدی جزئیاتِ دقیقِ آزمون نبود، بلکه ایدهٔ اندازه‌گیریِ هوش با عملکردِ رویِ نوعی تکلیفِ رفتاریِ بازپایان، به‌جای گمانه‌پردازیِ فلسفی، بود.
با این وجود، تورینگ حدس زد تا سالِ ۲۰۰۰ رایانه‌ای با حافظهٔ یک میلیارد واحدی می‌تواند آزمون را پاس کند، اما این‌جاییم آن سویِ ۲۰۰۰، و همچنان نمی‌توانیم توافق کنیم آیا برنامه‌ای پاسش کرده. بسیاری از مردم وقتی نمی‌دانستند ممکن است با رایانه گپ بزنند فریب خورده‌اند. برنامهٔ ELIZA و ربات‌های گفتگویِ اینترنتی مانندِ MGONZ (هامفریس، 2008) و NATACHATA (جاناتان و همکاران، 2009) بارها طرف‌های گفتگویشان را می‌فریبند، و رباتِ گفتگویِ CYBERLOVER توجهِ مجریِ قانون را به‌دلیلِ تمایلش به فریبِ هم‌گفتگوها برای افشایِ اطلاعاتِ شخصیِ کافی برای سرقتِ هویت جلب کرده.
در 2014، رباتِ گفتگویی به نامِ یوجین گوستمن ۳۳٪ از داورانِ آماتورِ آموزش‌ندیده را در آزمونِ تورینگ فریب داد. برنامه ادعا می‌کرد پسری از اوکراین با تسلطِ محدود بر انگلیسی است؛ این به تبیینِ خطاهای دستوری‌اش کمک می‌کرد. شاید آزمونِ تورینگ واقعاً آزمونِ زودباوریِ انسانی است. تاکنون هیچ داورِ خوب‌آموزش‌دیده‌ای فریب نخورده (آرونسون، 2014).
رقابت‌های آزمونِ تورینگ به ربات‌های گفتگویِ بهتری انجامیده‌اند، اما کانونِ پژوهش در جامعهٔ هوش مصنوعی نبوده‌اند. در عوض، پژوهشگرانِ هوش مصنوعی که هوسِ رقابت دارند بیشتر محتمل است بر بازیِ شطرنج یا گو یا StarCraft II تمرکز کنند، یا آزمونِ علومِ کلاسِ هشتم بدهند، یا اشیا را در تصاویر شناسایی کنند. در بسیاری از این رقابت‌ها، برنامه‌ها به عملکردِ سطح-انسان رسیده یا از آن فراتر رفته‌اند، اما این به این معنا نیست برنامه‌ها خارج از تکلیفِ خاص انسان‌مانندند. نکته بهبودِ علم و فناوریِ پایه و فراهم‌کردنِ ابزارهای مفید است، نه فریبِ داوران.
برخی فیلسوفان ادعا می‌کنند ماشینی که هوشمندانه عمل می‌کند در واقع فکر نمی‌کند، بلکه فقط شبیه‌سازیِ فکر است. اما بیشترِ پژوهشگرانِ هوش مصنوعی به این تمایز اهمیت نمی‌دهند، و دانشمندِ رایانهٔ ادسخر دیکسترا (1984) گفت «پرسشِ اینکه آیا ماشین‌ها می‌توانند فکر کنند... تقریباً به همان اندازهٔ پرسشِ اینکه آیا زیردریایی‌ها می‌توانند شنا کنند مرتبط است.» اولین تعریفِ «شناکردن» در فرهنگِ لغتِ آمریکایی هریتیج «حرکت در آب با اندام‌ها، باله‌ها یا دم» است، و بیشترِ مردم موافق‌اند زیردریایی‌ها، چون اندام ندارند، نمی‌توانند شنا کنند. فرهنگِ لغت همچنین «پروازکردن» را «حرکت در هوا با بال‌ها یا اجزایِ بال‌مانند» تعریف می‌کند، و بیشترِ مردم موافق‌اند هواپیماها، چون اجزایِ بال‌مانند دارند، می‌توانند پرواز کنند. با این حال، نه پرسش‌ها و نه پاسخ‌ها هیچ ارتباطی با طراحی یا قابلیت‌های هواپیماها و زیردریایی‌ها ندارند؛ بلکه دربارهٔ کاربردِ واژه در انگلیسی‌اند. (این واقعیت که کشتی‌ها در روسی «شنا می‌کنند» این نکته را تقویت می‌کند.) انگلیسی‌زبان‌ها هنوز بر تعریفِ دقیقی برای واژهٔ «فکرکردن» به توافق نرسیده‌اند—آیا به «مغز» نیاز دارد یا فقط «اجزایِ مغزمانند»؟
باز، این موضوع توسط تورینگ بررسی شد. او اشاره می‌کند ما هرگز هیچ شاهدِ مستقیمی دربارهٔ حالت‌های ذهنیِ درونیِ انسان‌های دیگر نداریم—نوعی خودتنهاانگاریِ ذهنی. با این وجود، تورینگ می‌گوید، «به‌جای بحثِ مداوم بر سرِ این نکته، رسم است «قراردادِ مؤدبانه»ای (Polite Convention) داشته باشیم که همه فکر می‌کنند.» تورینگ استدلال می‌کند ما قراردادِ مؤدبانه را به ماشین‌ها نیز بسط می‌دادیم، اگر فقط با ماشین‌هایی که هوشمندانه عمل می‌کنند تجربه داشتیم. با این حال، حالا که کمی تجربه داریم، به نظر می‌رسد تمایلِ ما به نسبت‌دادنِ احساس دستِ‌کم به همان اندازه به ظاهرِ انسان‌نما و صدا بستگی دارد که به هوشِ ناب.
فیلسوفِ جان سرل قراردادِ مؤدبانه را رد می‌کند. «استدلالِ اتاقِ چینی»ی (Chinese Room) مشهور او (سرل، 1990) به‌صورتِ زیر است: انسانی را تصور کن که فقط انگلیسی می‌فهمد، درونِ اتاقی که شاملِ کتابِ قاعده‌ای، نوشته‌شده به انگلیسی، و چند توده کاغذ است. تکه‌های کاغذِ شاملِ نمادهای رمزناپذیر از زیرِ درِ اتاق به داخل داده می‌شوند. انسان دستورهای کتابِ قاعده را دنبال می‌کند، نمادها را در توده‌ها می‌یابد، نمادها را رویِ کاغذهای تازه می‌نویسد، توده‌ها را بازچینی می‌کند و مانندِ آن. در نهایت، دستورها باعث می‌شوند یک یا چند نماد رویِ کاغذی رونویسی شود که به جهانِ بیرون بازگردانده می‌شود. از بیرون، سامانه‌ای می‌بینیم که ورودی را در قالبِ جمله‌های چینی می‌گیرد و پاسخ‌های چینیِ روان و هوشمندانه تولید می‌کند.
سرل سپس استدلال می‌کند: داده شده که انسان چینی نمی‌فهمد. کتابِ قاعده و توده‌های کاغذ، چون فقط تکه‌های کاغذند، چینی نمی‌فهمند. بنابراین، هیچ فهمی از چینی وجود ندارد. و سرل می‌گوید اتاقِ چینی همان کاری را می‌کند که رایانه می‌کرد، پس بنابراین رایانه‌ها هیچ فهمی تولید نمی‌کنند.
سرل (1980) طرفدارِ «طبیعت‌گراییِ زیستی» (Biological Naturalism) است، که بر طبقِ آن حالت‌های ذهنی ویژگی‌های نوپدیدِ سطح‌بالایی‌اند که توسط فرایندهای فیزیکیِ سطح‌پایین در نورون‌ها ایجاد می‌شوند، و این (نامشخص‌شده) ویژگی‌های نورون‌هاست که اهمیت دارد: طبقِ اریب‌های سرل، نورون‌ها «آن» را دارند و ترانزیستورها ندارند. ابطال‌های بسیاری از استدلالِ سرل بوده، اما هیچ اجماعی نیست. استدلالِ او می‌توانست به‌یکسان استفاده شود (شاید توسط ربات‌ها) برای اینکه بگوید انسان نمی‌تواند فهمِ واقعی داشته باشد؛ بالاخره، انسان از سلول‌ها ساخته شده، سلول‌ها نمی‌فهمند، پس هیچ فهمی وجود ندارد. در واقع، این طرحِ داستانِ علمی-تخیلیِ تری بیسون (1990) «آن‌ها از گوشت ساخته شده‌اند» است، که در آن ربات‌های بیگانه زمین را کاوش می‌کنند و نمی‌توانند باور کنند تکه‌های گوشت ممکن است احساس داشته باشند. اینکه چگونه می‌توانند داشته باشند همچنان معماست.
در میانِ همهٔ بحث‌های هوش مصنوعیِ قوی، مسئلهٔ «آگاهی» (Consciousness) جاری است: آگاهی از جهانِ بیرون، و از خود، و تجربهٔ ذهنیِ زندگی. اصطلاحِ فنیِ ماهیتِ ذاتیِ تجربه‌ها «کیفیّات» (Qualia) است (از واژهٔ لاتین به معنایِ تقریباً «از چه نوعی»). پرسشِ بزرگ این است که آیا ماشین‌ها می‌توانند کیفیّات داشته باشند. در فیلمِ 2001، وقتی فضانوردِ دیوید بومن در حالِ قطع‌کردنِ «مدارهای شناختی» رایانهٔ HAL 9000 است، می‌گوید «می‌ترسم، دیو. دیو، ذهنم دارد می‌رود. حسش می‌کنم.» آیا HAL واقعاً احساس دارد (و سزاوارِ همدردی است)؟ یا پاسخ فقط پاسخِ الگوریتمی است، بدونِ تفاوت با «Error 404: not found»؟
پرسشِ مشابهی برای جانوران هست: صاحبانِ حیواناتِ خانگی مطمئن‌اند سگ یا گربه‌شان آگاهی دارد، اما همهٔ دانشمندان موافق نیستند. جیرجیرک‌ها رفتارشان را بر مبنای دما تغییر می‌دهند، اما افرادِ کمی می‌گویند جیرجیرک‌ها احساسِ گرم یا سردبودن را تجربه می‌کنند.
یکی از دلایلِ دشواربودنِ مسئلهٔ آگاهی این است که حتی پس از قرن‌ها بحث همچنان بدتعریف مانده. اما کمک ممکن است در راه باشد. اخیراً فیلسوفان با عصب‌شناسان تحتِ حمایتِ بنیادِ تمپلتون هم‌دست شده‌اند تا مجموعه‌ای از آزمایش‌ها را شروع کنند که می‌تواند برخی از مسائل را حل کند. طرفدارانِ دو نظریهٔ پیشرویِ آگاهی (نظریهٔ فضایِ کارِ سراسری و نظریهٔ اطلاعاتِ یکپارچه) موافقت کرده‌اند آزمایش‌ها می‌توانند یکی از نظریه‌ها را بر دیگری تأیید کنند—نادرّیتی در فلسفه.
آلن تورینگ (1950) اذعان می‌کند مسئلهٔ آگاهی دشوار است، اما انکار می‌کند ارتباطِ چندانی با عملِ هوش مصنوعی دارد: «نمی‌خواهم این تصور را بدهم که فکر می‌کنم هیچ رمز و رازی دربارهٔ آگاهی نیست... اما فکر نمی‌کنم این رمز و رازها لزوماً باید پیش از اینکه بتوانیم به پرسشی که در این مقاله با آن سروکار داریم پاسخ دهیم حل شوند.» با تورینگ موافقیم—ما به ایجادِ برنامه‌هایی علاقه‌مندیم که هوشمندانه رفتار می‌کنند. جنبه‌های منفردِ آگاهی—هشیاری، خودآگاهی، توجه—قابلِ برنامه‌نویسی‌اند و می‌توانند بخشی از ماشینِ هوشمند باشند. پروژهٔ اضافیِ ساختنِ ماشینی آگاه دقیقاً به‌شیوه‌ای که انسان‌ها آگاه‌اند، پروژه‌ای نیست که ما مجهز به انجامش باشیم. موافقیم رفتارِ هوشمندانه به درجه‌ای از هشیاری نیاز خواهد داشت، که از تکلیفی به تکلیفِ دیگر تفاوت خواهد کرد، و تکلیف‌های شاملِ تعامل با انسان به مدلی از تجربهٔ ذهنیِ انسانی نیاز خواهند داشت.
در موضوعِ مدل‌کردنِ تجربه، انسان‌ها مزیتِ روشنی بر ماشین‌ها دارند، زیرا می‌توانند از دستگاهِ ذهنیِ خودشان برای قدردانی از تجربهٔ ذهنیِ دیگران استفاده کنند. برای نمونه، اگر می‌خواهید بدانید وقتی کسی با چکش به شستش می‌زند چه حسی دارد، می‌توانید با چکش به شستِ خودتان بزنید. ماشین‌ها چنین قابلیتی ندارند—هرچند برخلافِ انسان‌ها، می‌توانند کدِ یکدیگر را اجرا کنند.
با توجه به اینکه هوش مصنوعی فناوریِ قدرتمندی است، تعهدِ اخلاقی داریم خوب از آن استفاده کنیم، جنبه‌های مثبت را ترویج و از جنبه‌های منفی اجتناب یا آن‌ها را کاهش دهیم.
جنبه‌های مثبت بسیارند. برای نمونه، هوش مصنوعی می‌تواند از طریقِ تشخیصِ پزشکیِ بهبودیافته، کشف‌های پزشکیِ تازه، پیش‌بینیِ بهترِ رویدادهای شدیدِ آب‌وهوایی، و رانندگیِ ایمن‌تر با کمک‌راننده و (در نهایت) فناوری‌های خودران جان‌ها را نجات دهد. همچنین فرصت‌های بسیاری برای بهبودِ زندگی‌ها هست. برنامهٔ «هوش مصنوعی برای اقدامِ بشردوستانه»ی مایکروسافت هوش مصنوعی را برای بهبود از بلایای طبیعی، رسیدگی به نیازهای کودکان، محافظت از پناهندگان و ترویجِ حقوقِ بشر اعمال می‌کند. برنامهٔ «هوش مصنوعی برای خیرِ اجتماعی»ی گوگل از کار بر حفاظت از جنگل‌های بارانی، فقهِ حقوقِ بشر، پایشِ آلودگی، اندازه‌گیریِ انتشارِ سوخت‌های فسیلی، مشاورهٔ بحران، راستی‌آزماییِ اخبار، پیشگیری از خودکشی، بازیافت و دیگر مسائل پشتیبانی می‌کند. مرکزِ «علمِ داده برای خیرِ اجتماعی» دانشگاه شیکاگو یادگیریِ ماشینی را بر مسائلِ عدالتِ کیفری، توسعهٔ اقتصادی، آموزش، بهداشتِ عمومی، انرژی و محیط اعمال می‌کند.
کاربردهای هوش مصنوعی در مدیریتِ محصول و تولیدِ غذا به تغذیهٔ جهان کمک می‌کنند. بهینه‌سازیِ فرایندهای کسب‌وکار با یادگیریِ ماشینی کسب‌وکارها را مولدتر خواهد کرد، ثروت را افزایش و اشتغالِ بیشتری فراهم خواهد کرد. اتوماسیون می‌تواند جایگزینِ تکلیف‌های کسل‌کننده و خطرناکی شود که بسیاری از کارگران با آن‌ها روبه‌رویند، و آن‌ها را آزاد کند تا بر جنبه‌های جالب‌تر تمرکز کنند. افرادِ دارایِ معلولیت از کمکِ مبتنی بر هوش مصنوعی در دیدن، شنیدن و تحرک بهره خواهند برد. ترجمهٔ ماشینی از قبل به مردمِ فرهنگ‌های متفاوت اجازه می‌دهد ارتباط برقرار کنند. راه‌حل‌های نرم‌افزاریِ مبتنی بر هوش مصنوعی هزینهٔ نهاییِ تولیدِ نزدیکِ صفر دارند، و بنابراین پتانسیلِ دموکراتیک‌کردنِ دسترسی به فناوریِ پیشرفته را دارند (حتی اگر جنبه‌های دیگرِ نرم‌افزار پتانسیلِ متمرکزکردنِ قدرت را داشته باشند).
با وجودِ این جنبه‌های مثبتِ بسیار، نباید منفی‌ها را نادیده بگیریم. بسیاری از فناوری‌های تازه «اثرهای جانبیِ منفیِ ناخواسته» داشته‌اند: شکافتِ هسته‌ای چرنوبیل و تهدیدِ نابودیِ جهانی آورد؛ موتورِ احتراقِ داخلی آلودگیِ هوا، گرمایشِ جهانی و آسفالت‌شدنِ بهشت آورد. فناوری‌های دیگر حتی وقتی همان‌گونه که در نظر گرفته شده استفاده می‌شوند می‌توانند اثرهای منفی داشته باشند، مانندِ گازِ سارین، تفنگ‌های AR-15 و بازاریابیِ تلفنی. اتوماسیون ثروت ایجاد خواهد کرد، اما تحتِ شرایطِ اقتصادیِ کنونی بخشِ بزرگی از آن ثروت به سمتِ مالکانِ سامانه‌های خودکار جریان خواهد یافت، که به نابرابریِ درآمدِ فزاینده می‌انجامد. این می‌تواند برای جامعه‌ای که خوب کار می‌کند مخرب باشد. در کشورهای در حالِ توسعه، مسیرِ سنتیِ رشد از طریقِ تولیدِ کم‌هزینه برای صادرات ممکن است قطع شود، زیرا کشورهای ثروتمند تأسیساتِ تولیدیِ کاملاً خودکار را در داخلِ کشورشان اتخاذ می‌کنند. تصمیم‌های اخلاقی و حکمرانیِ ما سطحِ نابرابریِ ناشی از هوش مصنوعی را دیکته خواهند کرد.
همهٔ دانشمندان و مهندسان با ملاحظاتِ اخلاقیِ اینکه چه پروژه‌هایی را باید یا نباید بر عهده بگیرند، و اینکه چگونه مطمئن شوند اجرایِ پروژه ایمن و سودمند است، روبه‌رویند. در 2010، شورای پژوهشیِ علومِ مهندسی و فیزیکِ بریتانیا جلسه‌ای برای توسعهٔ مجموعه‌ای از «اصول رباتیک» برگزار کرد. در سال‌های بعد، آژانس‌های دولتیِ دیگر، سازمان‌های غیرانتفاعی و شرکت‌ها مجموعه‌های مشابهی از اصول ایجاد کردند. مضمون این است که هر سازمانی که فناوریِ هوش مصنوعی ایجاد می‌کند، و هرکس در سازمان، مسئولیت دارد مطمئن شود فناوری به خیر کمک می‌کند، نه آسیب. پراستنادترینِ اصول عبارت‌اند از:
توجه کنید بسیاری از اصول، مانندِ «تضمینِ ایمنی»، برای همهٔ سامانه‌های نرم‌افزاری یا سخت‌افزاری کاربرد دارند، نه فقط سامانه‌های هوش مصنوعی. چند اصل به‌شکلی مبهم بیان شده‌اند، که اندازه‌گیری یا اجرایشان را دشوار می‌کند. این تا حدی به‌دلیلِ این است که هوش مصنوعی حوزهٔ بزرگی با زیرحوزه‌های بسیار است، که هر یک مجموعه‌ای متفاوت از هنجارهای تاریخی و رابطه‌های متفاوتی بینِ توسعه‌دهندگانِ هوش مصنوعی و ذی‌نفعان دارد. میت‌لشتات (2019) پیشنهاد می‌کند زیرحوزه‌ها هر یک باید رهنمودهای عملیِ خاص‌تر و رویه‌های موردیِ دقیق‌تری توسعه دهند.
سازمانِ ملل سلاحِ خودمختارِ کشنده را سلاحی تعریف می‌کند که بدونِ نظارتِ انسانی اهدافِ انسانی را مکان‌یابی، انتخاب و موردِ حمله قرار می‌دهد (یعنی می‌کشد). سلاح‌های گوناگونی برخی از این معیارها را برآورده می‌کنند. برای نمونه، مین‌های زمینی از قرنِ هفدهم استفاده شده‌اند: می‌توانند اهداف را به معنایی محدود طبقِ درجهٔ فشارِ اعمال‌شده یا مقدارِ فلزِ حاضر انتخاب و موردِ حمله قرار دهند، اما نمی‌توانند بروند و اهداف را خودشان مکان‌یابی کنند. (مین‌های زمینی تحتِ پیمانِ اتاوا ممنوع‌اند.) موشک‌های هدایت‌شونده، که از دههٔ ۱۹۴۰ استفاده می‌شوند، می‌توانند اهداف را تعقیب کنند، اما باید توسط انسان به جهتِ کلیِ درست نشانه‌گیری شوند. تفنگ‌های کنترل‌شده با رادارِ شلیک‌خودکار از دههٔ ۱۹۷۰ برای دفاع از کشتی‌های دریایی استفاده شده‌اند؛ عمدتاً برای نابودیِ موشک‌های ورودی در نظر گرفته شده‌اند، اما می‌توانند به هواپیماهای سرنشین‌دار نیز حمله کنند. هرچند واژهٔ «خودمختار» اغلب برای توصیفِ وسایلِ نقلیهٔ هواییِ بدونِ سرنشین یا پهپادها استفاده می‌شود، بیشترِ این‌گونه سلاح‌ها هم از راهِ دور هدایت می‌شوند و هم به فعال‌سازیِ انسانیِ محمولهٔ کشنده نیاز دارند.
در زمانِ نوشتنِ این کتاب، چند سامانهٔ تسلیحاتی به نظر می‌رسد از خطِّ ورود به خودمختاریِ کامل عبور کرده‌اند. برای نمونه، موشکِ هاروپِ اسرائیل «مهماتِ پرسه‌زن»ی با طولِ بالِ ده‌فوت و کلاهکِ پنجاه‌پوندی است. تا شش ساعت در ناحیهٔ جغرافیاییِ داده‌شده‌ای به دنبالِ هر هدفی که معیارِ داده‌شده‌ای را برآورده می‌کند می‌گردد و سپس آن را نابود می‌کند. معیار می‌تواند «سیگنالِ راداریِ شبیهِ رادارِ ضدهوایی منتشر می‌کند» یا «شبیهِ تانک به نظر می‌رسد» باشد. سازندهٔ ترکیِ STM پهپادِ چهارپرهٔ کارگو-۲ را—که تا 1.5 کیلوگرم مادهٔ منفجره حمل می‌کند—به‌عنوانِ قادر به «ضربهٔ خودمختار... اهدافِ انتخاب‌شده رویِ تصاویر... ردیابیِ اهدافِ متحرک... ضدِ نفر... بازشناسیِ چهره» تبلیغ می‌کند.
سلاح‌های خودمختار «سومین انقلاب در جنگ‌افزاری» پس از باروت و سلاح‌های هسته‌ای نامیده شده‌اند. پتانسیلِ نظامی‌شان آشکار است. برای نمونه، کارشناسانِ کمی تردید دارند هواپیماهای جنگندهٔ خودمختار هر خلبانِ انسانی را شکست می‌دهند. هواپیماها، تانک‌ها و زیردریایی‌های خودمختار می‌توانند ارزان‌تر، سریع‌تر، مانورپذیرتر و با بردِ طولانی‌تر از همتایانِ سرنشین‌دارشان باشند. از 2014، سازمانِ ملل در ژنو بحث‌های منظمی تحتِ نظارتِ «کنوانسیونِ سلاح‌های متعارفِ خاص» (CCW) دربارهٔ پرسشِ ممنوع‌کردنِ سلاح‌های خودمختارِ کشنده برگزار کرده. در زمانِ نوشتنِ این کتاب، ۳۰ کشور، از نظرِ اندازه از چین تا سریر مقدس، حمایتِ خود را از پیمانِ بین‌المللی اعلام کرده‌اند، در حالی که کشورهای کلیدیِ دیگر—از جملهِ اسرائیل، روسیه، کرهٔ جنوبی و آمریکا—با ممنوعیت مخالف‌اند.
بحثِ بر سرِ سلاح‌های خودمختار شاملِ جنبه‌های حقوقی، اخلاقی و عملی است. مسائلِ حقوقی عمدتاً توسط CCW اداره می‌شوند، که امکانِ تمایز بینِ رزمندگان و غیررزمندگان، قضاوتِ ضرورتِ نظامی برای حمله، و ارزیابیِ تناسبِ بینِ ارزشِ نظامیِ هدف و امکانِ خسارتِ جانبی را ایجاب می‌کند. شدنی‌بودنِ برآوردنِ این معیارها پرسشِ مهندسی است—پرسشی که پاسخش بدونِ شک در طولِ زمان تغییر خواهد کرد. در حالِ حاضر، تمایز در برخی شرایط شدنی به نظر می‌رسد و بدونِ شک به‌سرعت بهبود خواهد یافت، اما ضرورت و تناسب در حالِ حاضر شدنی نیستند: آن‌ها ایجاب می‌کنند ماشین‌ها قضاوت‌های ذهنی و موقعیتی کنند که به‌طورِ چشمگیری دشوارتر از تکلیف‌های نسبتاً سادهٔ جستجو و حمله به اهدافِ بالقوه است. به این دلایل، استفاده از سلاح‌های خودمختار فقط در شرایطی قانونی می‌بود که اپراتورِ انسانی بتواند به‌طورِ معقول پیش‌بینی کند اجرایِ مأموریت به هدف‌قرارگرفتنِ غیرنظامیان یا اجرایِ حملاتِ غیرضروری یا نامتناسب توسط سلاح‌ها منجر نمی‌شود. این بدان‌معناست، برای زمانِ حال، فقط مأموریت‌های بسیار محدودی می‌توانند توسط سلاح‌های خودمختار انجام شوند.
در سمتِ اخلاقی، برخی واگذاریِ تصمیمِ کشتنِ انسان‌ها به ماشین را صرفاً از نظرِ اخلاقی غیرقابلِ‌پذیرش می‌یابند. برای نمونه، سفیرِ آلمان در ژنو گفته «نمی‌پذیریم تصمیم بر سرِ زندگی و مرگ صرفاً توسط سامانهٔ خودمختار گرفته شود» در حالی که ژاپن «برنامه‌ای برای توسعهٔ ربات‌های بدونِ دخالتِ انسان، که ممکن است قادر به قتل باشند، ندارد.» ژنرالِ پل سلوآ، که در آن زمان دومین مقامِ عالی‌رتبهٔ نظامیِ آمریکا بود، در 2017 گفت «فکر نمی‌کنم معقول باشد ربات‌ها را مسئولِ اینکه آیا جانِ انسانی را می‌گیریم بگذاریم.» سرانجام، آنتونیو گوترش، رئیسِ سازمانِ ملل، در 2019 گفت «ماشین‌هایی با قدرت و اختیارِ گرفتنِ جان بدونِ دخالتِ انسانی از نظرِ سیاسی غیرقابلِ‌پذیرش، از نظرِ اخلاقی منفورند و باید توسط حقوقِ بین‌الملل ممنوع شوند.» بیش از ۱۴۰ سازمانِ مردم‌نهاد در بیش از ۶۰ کشور بخشی از «کمپینِ توقفِ ربات‌های قاتل» هستند، و نامهٔ سرگشاده‌ای که در 2015 توسط مؤسسهٔ آیندهٔ زندگی سازماندهی شد توسط بیش از ۴٬۰۰۰ پژوهشگرِ هوش مصنوعی² و ۲۲٬۰۰۰ نفرِ دیگر امضا شد.
در برابرِ این، می‌توان استدلال کرد با بهبودِ فناوری باید بتوان سلاح‌هایی توسعه داد که کمتر از سربازان یا خلبانانِ انسانی باعثِ تلفاتِ غیرنظامی می‌شوند. (همچنین این سودِ مهم هست که سلاح‌های خودمختار نیاز سربازان و خلبانانِ انسانی به به‌خطرانداختنِ جانشان را کاهش می‌دهند.) سامانه‌های خودمختار تسلیمِ خستگی، ناامیدی، هیستری، ترس، خشم یا انتقام نمی‌شوند، و لازم نیست «اول شلیک کنند، بعد سؤال بپرسند» (آرکین، 2015). همان‌گونه که مهماتِ هدایت‌شونده خسارتِ جانبی را نسبت به بمب‌های هدایت‌نشده کاهش داده‌اند، ممکن است انتظار داشت سلاح‌های هوشمند دقتِ حملات را بیشتر بهبود دهند. (در برابرِ این، برای تحلیلی از تلفاتِ جنگِ پهپادی، بنجامین (2013) را ببینید.) این، ظاهراً، موضعِ آمریکا در آخرین دورِ مذاکرات در ژنو است.
شاید به‌صورتِ ضدشهودی، آمریکا همچنین یکی از معدود کشورهایی است که سیاست‌های فعلی‌اش استفاده از سلاح‌های خودمختار را منع می‌کند. نقشهٔ راهِ 2011 وزارت دفاعِ آمریکا (DOD) می‌گوید: «در آیندهٔ قابلِ‌پیش‌بینی، تصمیم‌ها بر سرِ استفاده از نیرو [توسط سامانه‌های خودمختار] و انتخابِ اینکه کدام اهدافِ منفرد با نیرویِ کشنده موردِ حمله قرار گیرند تحتِ کنترلِ انسانی باقی خواهند ماند.» دلیلِ اصلیِ این سیاست عملی است: سامانه‌های خودمختار به‌اندازهٔ کافی قابلِ‌اعتماد نیستند که تصمیماتِ نظامی به آن‌ها سپرده شود.
مسئلهٔ قابلیتِ‌اعتماد در 26 سپتامبرِ 1983 به‌پیش آمد، وقتی نمایشگرِ رایانهٔ افسرِ موشکیِ شوروی، استانیسلاو پتروف، هشدارِ حملهٔ موشکیِ ورودی را چشمک زد. طبقِ پروتکل، پتروف باید ضدحملهٔ هسته‌ای را آغاز می‌کرد، اما مشکوک بود هشدار باگ است و با آن چنین رفتار کرد. درست می‌گفت، و جنگِ جهانیِ سوم (به‌طورِ باریک) خنثی شد. نمی‌دانیم اگر انسانِ در حلقه نبود چه اتفاقی می‌افتاد.
قابلیتِ‌اعتماد نگرانیِ بسیار جدی برای فرماندهانِ نظامی است، که پیچیدگیِ موقعیت‌های میدانِ نبرد را خوب می‌دانند. سامانه‌های یادگیریِ ماشینی که در آموزش بی‌نقص عمل می‌کنند ممکن است در استقرار ضعیف عمل کنند. حملاتِ سایبری به سلاح‌های خودمختار می‌تواند به تلفاتِ آتشِ خودی بینجامد؛ قطعِ همهٔ ارتباطاتِ سلاح ممکن است از آن جلوگیری کند (با فرضِ اینکه از قبل به خطر نیفتاده)، اما آنگاه اگر سلاح دچارِ خرابی باشد نمی‌توان آن را فراخواند. مسئلهٔ عملیِ غالبِ سلاح‌های خودمختار این است که آن‌ها «سلاح‌های کشتارِ جمعیِ مقیاس‌پذیر» هستند، به این معنا که مقیاسِ حمله‌ای که می‌توان پرتاب کرد متناسب با مقدارِ سخت‌افزاری است که توانِ استقرارش را دارید. ریزپهپادی چهارپره (کوادکوپتر) با قطرِ دو اینچ می‌تواند بارِ انفجاریِ کشنده حمل کند، و یک میلیون از آن‌ها در کانتینرِ حمل‌ونقلِ معمولی جا می‌شوند. دقیقاً چون خودمختارند، این سلاح‌ها برای انجامِ کارشان به یک میلیون ناظرِ انسانی نیاز نخواهند داشت.
به‌عنوانِ سلاح‌های کشتارِ جمعی، سلاح‌های خودمختارِ مقیاس‌پذیر برای مهاجم در مقایسه با سلاح‌های هسته‌ای و بمبارانِ فرشی مزیت‌هایی دارند: اموال را سالم می‌گذارند و می‌توان آن‌ها را به‌صورتِ انتخابی اعمال کرد تا فقط کسانی را حذف کنند که ممکن است نیرویِ اشغالگر را تهدید کنند. قطعاً می‌توان از آن‌ها برای نابودیِ کلِ یک گروه قومی یا همهٔ پیروانِ دینِ خاصی استفاده کرد. در بسیاری از موقعیت‌ها، آن‌ها همچنین ردیابی‌ناپذیر خواهند بود. این ویژگی‌ها آن‌ها را به‌ویژه برای بازیگرانِ غیردولتی جذاب می‌کند.
این ملاحظات—به‌ویژه آن ویژگی‌هایی که به مهاجم برتری می‌دهند—پیشنهاد می‌کنند سلاح‌های خودمختار امنیتِ جهانی و ملی را برای همهٔ طرف‌ها کاهش خواهند داد. پاسخِ عقلاییِ دولت‌ها به نظر می‌رسد شرکت در بحث‌های کنترلِ تسلیحات باشد، نه مسابقهٔ تسلیحاتی. فرایندِ طراحیِ پیمان بدونِ دشواری‌هایش نیست، با این حال. هوش مصنوعی فناوریِ «استفادهٔ دوگانه» (Dual Use) است: فناوری‌های هوش مصنوعی که کاربردهای صلح‌آمیزی مانندِ کنترلِ پرواز، ردیابیِ بصری، نگاشت، ناوبری و برنامه‌ریزیِ چندعاملی دارند، به‌راحتی می‌توانند برای مقاصدِ نظامی اعمال شوند. تبدیلِ پهپادِ چهارپرهٔ خودمختار به سلاح با اتصالِ مادهٔ منفجره و فرمانِ جستجویِ هدف به آن آسان است. برخورد با این مستلزمِ اجرایِ دقیقِ رژیم‌های انطباق با همکاریِ صنعت خواهد بود، چنان‌که قبلاً با موفقیتی توسط کنوانسیونِ سلاح‌های شیمیایی نشان داده شده.
در 1976، جوزف وایزنباوم هشدار داد فناوریِ بازشناسیِ خودکارِ گفتار می‌تواند به شنودِ گسترده و از این رو به ازدست‌رفتنِ آزادی‌های مدنی بینجامد. امروزه، آن تهدید محقق شده، با بیشترِ ارتباطاتِ الکترونیکی که از سرورهای مرکزیِ قابلِ‌نظارت می‌گذرند، و شهرهایی که پر از میکروفون و دوربین‌اند که می‌توانند افراد را بر مبنای صدا، چهره و راه‌رفتنشان شناسایی و ردیابی کنند. نظارتی که قبلاً به منابعِ انسانیِ گران و کمیاب نیاز داشت، اکنون می‌تواند در مقیاسی انبوه توسط ماشین‌ها انجام شود.
از 2018، تا ۳۵۰ میلیون دوربینِ نظارتی در چین و ۷۰ میلیون در آمریکا بود. چین و کشورهای دیگر شروع به صادراتِ فناوریِ نظارتی به کشورهای کم‌فناوری کرده‌اند، برخی با شهرتِ بدرفتاری با شهروندان و هدف‌قراردادنِ نامتناسبِ جوامعِ به‌حاشیه‌رانده. مهندسانِ هوش مصنوعی باید روشن باشند چه کاربردهایی از نظارت با حقوقِ بشر سازگار است، و از کار بر رویِ کاربردهای ناسازگار خودداری کنند. هرچه نهادهای بیشتری به‌صورتِ برخط فعالیت کنند، در برابرِ جرمِ سایبری (فیشینگ، کلاهبرداریِ کارتِ اعتباری، بات‌نت‌ها، باج‌افزار) و تروریسمِ سایبری (از جملهِ حملاتِ بالقوهٔ مرگبار مانندِ خاموش‌کردنِ بیمارستان‌ها و نیروگاه‌ها یا تصاحبِ خودروهای خودران) آسیب‌پذیرتر می‌شویم. یادگیریِ ماشینی می‌تواند ابزارِ قدرتمندی برای هر دو طرفِ نبردِ «امنیتِ سایبری» (Cybersecurity) باشد. مهاجمان می‌توانند از اتوماسیون برای کاوشِ ناامنی‌ها استفاده کنند و می‌توانند یادگیریِ تقویتی را برای تلاش‌های فیشینگ و اخاذیِ خودکار اعمال کنند. مدافعان می‌توانند از یادگیریِ نظارت‌نشده برای تشخیصِ الگوهای ترافیکِ ورودیِ ناهنجار (چاندولا و همکاران، 2009؛ مالهوترا و همکاران، 2015) و از فنونِ یادگیریِ ماشینیِ گوناگون برای تشخیصِ کلاهبرداری استفاده کنند (فاست و پرووست، 1997؛ بولتون و هند، 2002). هرچه حملات پیچیده‌تر می‌شوند، مسئولیتِ بیشتری برای همهٔ مهندسان، نه فقط کارشناسانِ امنیت، هست که از آغاز سامانه‌های امن طراحی کنند.
یک پیش‌بینی (کانال، 2017) بازارِ یادگیریِ ماشینی در امنیتِ سایبری را تا 2021 حدودِ ۱۰۰ میلیارد دلار می‌گذارد. هرچه با رایانه‌ها برای بخشِ فزاینده‌ای از زندگیِ روزمره‌مان تعامل می‌کنیم، دادهٔ بیشتری دربارهٔ ما توسط دولت‌ها و شرکت‌ها جمع‌آوری می‌شود. جمع‌آوری‌کنندگانِ داده مسئولیتِ اخلاقی و حقوقی دارند مباشرانِ خوبی برای داده‌ای که در دست دارند باشند. در آمریکا، «قانونِ قابلِ‌انتقال‌بودن و پاسخگوییِ بیمهٔ سلامت» (HIPAA) و «قانونِ حقوقِ حریمِ خصوصی و خانوادگیِ آموزشی» (FERPA) از حریمِ خصوصیِ سوابقِ پزشکی و دانشجویی محافظت می‌کنند. «مقرراتِ عمومیِ حفاظت از داده» (GDPR) اتحادیهٔ اروپا شرکت‌ها را ملزم می‌کند سامانه‌هایشان را با درنظرگرفتنِ حفاظت از داده طراحی کنند و ایجاب می‌کند برای هر جمع‌آوری یا پردازشِ داده رضایتِ کاربر بگیرند.
در برابرِ حقِّ حریمِ خصوصیِ فرد، ارزشی است که جامعه از اشتراک‌گذاریِ داده به دست می‌آورد. می‌خواهیم بتوانیم تروریست‌ها را بدونِ سرکوبِ مخالفتِ صلح‌آمیز متوقف کنیم، و می‌خواهیم بیماری‌ها را بدونِ به‌خطرانداختنِ حقِّ هر فرد برای خصوصی‌نگهداشتنِ سوابقِ سلامت‌اش درمان کنیم. یکی از رویه‌های کلیدی «هویت‌روبی» (De-Identification) است: حذفِ اطلاعاتِ شخصاً قابلِ شناسایی (مانندِ نام و شمارهٔ تأمینِ اجتماعی) تا پژوهشگرانِ پزشکی بتوانند از داده برای پیشبردِ خیرِ عمومی استفاده کنند. مشکل این است که دادهٔ اشتراک‌گذاری‌شدهٔ هویت‌روبی‌شده ممکن است در معرضِ بازشناسایی باشد. برای نمونه، اگر داده نام، شمارهٔ تأمینِ اجتماعی و آدرسِ خیابان را حذف کند، اما تاریخِ تولد، جنسیت و کدِ پستی را شامل شود، آنگاه، چنان‌که لاتانیا سوینی (2000) نشان داد، ۸۷٪ از جمعیتِ آمریکا را می‌توان به‌صورتِ یکتا بازشناسایی کرد. سوینی این نکته را با بازشناساییِ سوابقِ بهداشتیِ فرماندارِ ایالتش وقتی در بیمارستان بستری شد برجسته کرد.
در رقابتِ «جایزهٔ نتفلیکس» (Netflix Prize)، سوابقِ هویت‌روبی‌شدهٔ رتبه‌بندیِ فیلمِ افرادِ منفرد منتشر شد، و از رقبا خواسته شد الگوریتمِ یادگیریِ ماشینی‌ای ارائه دهند که می‌توانست دقیقاً پیش‌بینی کند فردی چه فیلم‌هایی را دوست خواهد داشت. اما پژوهشگران توانستند کاربرانِ منفرد را با تطبیقِ تاریخِ رتبه‌بندیِ پایگاهِ دادهٔ نتفلیکس با تاریخِ رتبه‌بندیِ مشابهی در پایگاهِ دادهٔ فیلمِ اینترنتی (IMDB)، که کاربران در آن گاهی از نامِ واقعی‌شان استفاده می‌کنند، بازشناسایی کنند (نارایانان و شماتیکوف، 2006).
این خطر را می‌توان تا حدی با تعمیم‌دادنِ فیلدها کاهش داد: برای نمونه، جایگزینیِ تاریخِ تولدِ دقیق با فقط سالِ تولد، یا دامنهٔ گسترده‌تری مانندِ «۲۰-۳۰ ساله». حذفِ کاملِ فیلدی را می‌توان شکلی از تعمیم به «هر» دید. اما تعمیم به‌تنهایی تضمین نمی‌کند سوابق از بازشناسایی در امان‌اند؛ ممکن است فقط یک نفر در کدِ پستیِ 94720 باشد که ۹۰–۱۰۰ ساله است. ویژگیِ مفیدی «k-گمنامی» (K-Anonymity) است: پایگاهِ داده‌ای k-گمنام است اگر هر رکوردِ پایگاهِ داده از دستِ‌کم k−1 رکوردِ دیگر تمایزناپذیر (غیرقابلِ‌تشخیص) باشد. اگر رکوردی یکتاتر از این باشد، باید بیشتر تعمیم داده شود.
جایگزینی برای اشتراک‌گذاریِ سوابقِ هویت‌روبی‌شده، خصوصی‌نگهداشتنِ همهٔ سوابق اما اجازه‌دادن به «پرس‌وجویِ تجمیعی» (Aggregate Querying) است. APIای برای پرس‌وجوهای پایگاهِ داده فراهم می‌شود، و پرس‌وجوهای معتبر پاسخی دریافت می‌کنند که داده را با شمارش یا میانگین خلاصه می‌کند. اما اگر پاسخ ضمانت‌های خاصی از حریمِ خصوصی را نقض کند، پاسخی داده نمی‌شود. برای نمونه، می‌توانستیم به همه‌گیرشناس اجازه دهیم برای هر کدِ پستی درصدِ افرادِ مبتلا به سرطان را بپرسد. برای کدهای پستی با دستِ‌کم n نفر درصدی داده می‌شد (با مقدارِ کمی نویزِ تصادفی)، اما برای کدهای پستی با کمتر از n نفر پاسخی داده نمی‌شد.
باید مراقب محافظت در برابرِ بازشناسایی (رفعِ گمنامی) با پرس‌وجوهای متعدد بود. برای نمونه، اگر پرس‌وجوی «میانگینِ حقوق و تعدادِ کارمندانِ شرکتِ XYZ با سن ۳۰-۴۰» پاسخِ [$81,234, 12] را بدهد و پرس‌وجوی «میانگینِ حقوق و تعدادِ کارمندانِ شرکتِ XYZ با سن ۳۰-۴۱» پاسخِ [$81,199, 13] را بدهد، و اگر از لینکدین برای یافتنِ تنها ۴۱سالهٔ شرکتِ XYZ استفاده کنیم، پس با موفقیت آن‌ها را شناسایی کرده‌ایم و می‌توانیم حقوقِ دقیقشان را محاسبه کنیم، حتی اگر همهٔ پاسخ‌ها شاملِ ۱۲ نفر یا بیشتر بودند. سامانه باید با ترکیبی از محدودیت‌های پرس‌وجوهای قابلِ‌پرسش (شاید فقط مجموعهٔ از‌پیش‌تعریف‌شده‌ای از بازه‌های سنیِ غیرهم‌پوشان قابلِ‌پرسش باشد) و دقتِ نتایج (شاید هر دو پرس‌وجو پاسخِ «حدودِ ۸۱٬۰۰۰ دلار» بدهند) به‌دقت طراحی شود.
ضمانتِ قوی‌تری «حریمِ خصوصیِ تفاضلی» (Differential Privacy) است، که تضمین می‌کند مهاجم نمی‌تواند با پرس‌وجوها هیچ فردی را در پایگاهِ داده بازشناسایی کند، حتی اگر مهاجم بتواند پرس‌وجوهای متعدد انجام دهد و به پایگاه‌های دادهٔ پیوندیِ جداگانه دسترسی داشته باشد. پاسخِ پرس‌وجو از الگوریتمِ تصادفی‌سازی استفاده می‌کند که مقدارِ کمی نویز به نتیجه می‌افزاید. با توجه به پایگاهِ دادهٔ D، هر رکوردِ r که در پایگاهِ داده نیست، هر پرس‌وجوی Q و هر پاسخِ ممکنِ y به پرس‌وجو، می‌گوییم پایگاهِ دادهٔ D دارای «حریمِ خصوصیِ تفاضلیِ ε» است اگر لگاریتمِ احتمالِ پاسخِ y کمتر از ε تغییر کند وقتی رکوردِ r را می‌افزاییم:
|log P(Q(D) = y) − log P(Q(D + r) = y)| ≤ εبه بیانِ دیگر، اینکه آیا هر شخصی تصمیم می‌گیرد در پایگاهِ داده شرکت کند یا نه، تفاوتِ محسوسی در پاسخ‌هایی که هرکس می‌تواند بگیرد ایجاد نمی‌کند، و بنابراین هیچ انگیزه‌ای برای حمله به حریمِ خصوصی از این طریق نیست. با این حال، باید مراقب بود پاسخ‌ها به پرس‌وجوهای ترکیبیِ متعدد نیز همین ویژگی را حفظ کنند.
یادگیریِ ماشینی تصمیم‌گیریِ انسانی را در موقعیت‌های مهم تقویت و گاهی جایگزین می‌کند: وامِ چه کسی تأیید شود، پلیس به کدام محله‌ها اعزام شود، چه کسی آزادیِ پیش از محاکمه یا آزادیِ مشروط بگیرد. اما مدل‌های یادگیریِ ماشینی می‌توانند «اریبِ اجتماعی» (Societal Bias) را تداوم بخشند. مثالِ الگوریتمی برای پیش‌بینیِ اینکه آیا متهمانِ جنایی احتمالِ تکرارِ جرم دارند، و بنابراین آیا باید پیش از محاکمه آزاد شوند را در نظر بگیر. کاملاً ممکن است چنین سامانه‌ای تعصب‌های نژادی یا جنسیتیِ قضاتِ انسانی را از مثال‌های مجموعهٔ آموزشی بردارد. طراحانِ سامانه‌های یادگیریِ ماشینی مسئولیتِ اخلاقی دارند مطمئن شوند سامانه‌هایشان در واقع منصفانه‌اند. در حوزه‌های تنظیم‌شده مانندِ اعتبار، آموزش، اشتغال و مسکن، مسئولیتِ حقوقی نیز دارند. اما انصاف چیست؟ معیارهای متعددی هست؛ در این‌جا شش مورد از پرکاربردترینِ مفاهیم آمده:
بیایید بررسی کنیم این مسائل در بافتِ خاصی چگونه ایفای نقش می‌کنند. COMPAS سامانهٔ تجاریِ امتیازدهیِ تکرارِ جرم است. به متهمِ پروندهٔ جنایی امتیازِ خطری تخصیص می‌دهد، که سپس توسط قاضی برای کمک به تصمیم‌گیری‌ها استفاده می‌شود: آیا آزادکردنِ متهم پیش از محاکمه ایمن است، یا باید در زندان بماند؟ اگر محکوم شود، حکم چقدر طولانی باشد؟ آیا آزادیِ مشروط داده شود؟ با توجه به اهمیتِ این تصمیم‌ها، سامانه موضوعِ بررسیِ شدید بوده (درسل و فرید، 2018).
COMPAS طوری طراحی شده که «خوب کالیبره‌شده» (Well Calibrated) باشد: همهٔ افرادی که الگوریتم به آن‌ها امتیازِ یکسانی می‌دهد باید تقریباً همان احتمالِ تکرارِ جرم را داشته باشند، صرف‌نظر از نژاد. برای نمونه، در میانِ همهٔ افرادی که مدل به آن‌ها امتیازِ خطرِ ۷ از ۱۰ تخصیص می‌دهد، ۶۰٪ از سفیدپوستان و ۶۱٪ از سیاه‌پوستان تکرارِ جرم می‌کنند. طراحان بنابراین ادعا می‌کنند هدفِ انصافِ مطلوب را برآورده می‌کند. از سوی دیگر، COMPAS به فرصتِ برابر نمی‌رسد: نسبتِ کسانی که تکرارِ جرم نکردند اما به‌صورتِ نادرست پرخطر رده‌بندی شدند، ۴۵٪ برای سیاه‌پوستان و ۲۳٪ برای سفیدپوستان بود. در پروندهٔ State v. Loomis، جایی که قاضی برای تعیینِ حکمِ متهم به COMPAS تکیه کرد، لومیس استدلال کرد کارکردهای درونیِ محرمانهٔ الگوریتم حقِّ دادرسیِ عادلانه و قانونیِ او را نقض می‌کند. هرچند دادگاهِ عالیِ ویسکانسین دریافت در این پرونده حکمِ داده‌شده بدونِ COMPAS تفاوتی نمی‌کرد، دربارهٔ دقتِ الگوریتم و خطرات برای متهمانِ اقلیت هشدار صادر کرد. پژوهشگرانِ دیگر پرسیده‌اند آیا استفاده از الگوریتم‌ها در کاربردهایی مانندِ صدورِ حکم مناسب است.
می‌توانستیم امیدوار باشیم الگوریتمی هم خوب کالیبره‌شده و هم فرصتِ برابر باشد، اما، چنان‌که کلینبرگ و همکاران (2016) نشان می‌دهند، آن ناممکن است. اگر رده‌های پایه متفاوت‌اند، هر الگوریتمی که خوب کالیبره‌شده باشد لزوماً فرصتِ برابر فراهم نمی‌کند، و برعکس. چگونه می‌توانیم این دو را وزن کنیم؟ کارهای اخیر پیشنهاد کرده‌اند با هدفِ کالیبراسیون و هدفِ فرصتِ برابر به‌صورتِ اهدافی جداگانه و مکمل، اما با اولویت‌بندیِ انصافِ فردی، برخورد کنیم (آن‌ها را در نظر بگیریم). (کوشیو-هیگوچی و راسل، 2018؛ نارانگ و همکاران، 2019). بیایید به جنبه‌های عملیِ ساختِ سامانه‌های منصفانه بپردازیم.
نخست، محدودیت‌های داده‌ای که استفاده می‌کنید را بفهمید. پیشنهاد شده مجموعه‌های داده (گبرو و همکاران، 2018؛ هیند و همکاران، 2018) و مدل‌ها (میچل و همکاران، 2019) باید با حاشیه‌نویسی‌هایی بیایند: اعلامیه‌هایی از خاستگاه، امنیت، انطباق و شایستگی برای استفاده. این شبیهِ «برگهٔ داده»هایی (Data Sheet) است که همراهِ اجزای الکترونیکی مانندِ مقاومت‌ها می‌آید؛ آن‌ها به طراحان اجازه می‌دهند تصمیم بگیرند از چه اجزایی استفاده کنند. علاوه بر برگه‌های داده، مهم است مهندسان را، هم در مدرسه و هم با آموزشِ حینِ کار، نسبت به مسائلِ انصاف و اریب آگاه کنیم. داشتنِ تنوعی از مهندسان با پیشینه‌های متفاوت برایشان آسان‌تر می‌کند مشکلاتِ داده یا مدل‌ها را متوجه شوند. مطالعه‌ای توسط مؤسسهٔ AI Now (وست و همکاران، 2019) دریافت فقط ۱۸٪ از نویسندگانِ کنفرانس‌های برترِ هوش مصنوعی و ۲۰٪ از استادانِ هوش مصنوعی زن‌اند. کارگرانِ سیاه‌پوستِ هوش مصنوعی کمتر از ۴٪اند. نرخ‌ها در آزمایشگاه‌های پژوهشیِ صنعتی مشابه‌اند. تنوع را می‌توان با برنامه‌هایی زودتر در خطِّ لوله—در کالج یا دبیرستان—و با آگاهیِ بیشتر در سطحِ حرفه‌ای افزایش داد. جوی بولاموینی «اتحادیهٔ عدالتِ الگوریتمی» را برای افزایشِ آگاهی از این مسئله و توسعهٔ رویه‌های پاسخگویی تأسیس کرد.
ایدهٔ دوم اریب‌زدایی از داده است (زمل و همکاران، 2013). می‌توانیم از رده‌های اقلیت بیش‌نمونه‌برداری کنیم تا در برابرِ نابرابریِ اندازهٔ نمونه دفاع کنیم. فنونی مانندِ SMOTE، فنِ بیش‌نمونه‌برداریِ مصنوعیِ اقلیت (چاولا و همکاران، 2002)، یا ADASYN، رویکردِ نمونه‌برداریِ مصنوعیِ تطبیقی برای یادگیریِ نامتوازن (هه و همکاران، 2008)، راه‌های اصولیِ بیش‌نمونه‌برداری فراهم می‌کنند. می‌توانیم خاستگاهِ داده را بررسی کنیم و، برای نمونه، مثال‌هایی از قضاتی که در پرونده‌های دادگاهِ گذشته‌شان اریب نشان داده‌اند حذف کنیم. برخی تحلیلگران به ایدهٔ دورانداختنِ داده اعتراض دارند و در عوض توصیه می‌کنند مدلِ سلسله‌مراتبیِ داده بسازیم که منابعِ اریب را شامل می‌شود، تا بتوان آن‌ها را مدل و جبران کرد. گوگل و NeurIPS با حمایتِ مالیِ «رقابتِ تصاویرِ فراگیر» تلاش کرده‌اند آگاهی از این مسئله را افزایش دهند، که در آن رقبا شبکه‌ای را رویِ مجموعهٔ داده‌ای از تصاویرِ برچسب‌خوردهٔ جمع‌آوری‌شده در آمریکای شمالی و اروپا آموزش می‌دهند و سپس آن را رویِ تصاویرِ گرفته‌شده از سراسرِ جهان آزمایش می‌کنند. مسئله این است که با این مجموعهٔ داده، اعمالِ برچسبِ «عروس» به زنی با لباسِ عروسیِ غربیِ استاندارد آسان است، اما بازشناسیِ لباسِ عروسیِ سنتیِ آفریقایی و هندی سخت‌تر است.
ایدهٔ سوم ابداعِ مدل‌ها و الگوریتم‌های یادگیریِ ماشینیِ تازه‌ای است که در برابرِ اریب مقاوم‌ترند؛ و ایدهٔ نهایی این است که به سامانه اجازه دهیم توصیه‌های اولیه‌ای بدهد که ممکن است اریب‌دار باشند، اما سپس سامانهٔ دومی آموزش دهیم که توصیه‌های سامانهٔ نخست را اریب‌زدایی کند. بلامی و همکاران (2018) سامانهٔ IBM AI FAIRNESS 360 را معرفی کردند، که چارچوبی برای همهٔ این ایده‌ها فراهم می‌کند. انتظار داریم در آینده استفاده از ابزارهایی مانندِ این افزایش یابد.
چگونه مطمئن می‌شوید سامانه‌هایی که می‌سازید منصفانه‌اند؟ مجموعه‌ای از بهترین رویه‌ها در حالِ ظهور است (هرچند همیشه دنبال نمی‌شوند):
یک چالش این است سامانهٔ هوش مصنوعی را دقیق، منصفانه، ایمن و امن کنیم؛ چالشِ متفاوت قانع‌کردنِ بقیه است که چنین کرده‌اید. مردم باید بتوانند به سامانه‌هایی که استفاده می‌کنند «اعتماد» (Trust) کنند. نظرسنجیِ PwC در 2017 دریافت ۷۶٪ از کسب‌وکارها پذیرشِ هوش مصنوعی را به‌دلیلِ نگرانی‌های قابلیتِ‌اعتماد کند می‌کنند. در بخش ۱۹.۹.۴ برخی از رویکردهای مهندسیِ اعتماد را پوشش دادیم؛ در این‌جا مسائلِ سیاستی را بحث می‌کنیم.
برای جلبِ اعتماد، هر سامانهٔ مهندسی‌شده باید از فرایندِ «راستی‌آزمایی و اعتبارسنجی» (Verification and Validation یا V&V) بگذرد. راستی‌آزمایی به این معناست محصول مشخصات را برآورده می‌کند. اعتبارسنجی به معنای اطمینان‌یافتن از اینکه مشخصات واقعاً نیازهای کاربر و دیگر طرف‌های متأثر را برآورده می‌کند. روش‌شناسیِ مفصلیِ V&V برای مهندسی به‌طورِ کلی داریم، و برای توسعهٔ نرم‌افزارِ سنتیِ انجام‌شده توسط برنامه‌نویسانِ انسانی؛ بخشِ زیادی از آن برای سامانه‌های هوش مصنوعی کاربرد دارد. اما سامانه‌های یادگیریِ ماشینی متفاوت‌اند و به فرایندِ V&V متفاوتی نیاز دارند، که هنوز کاملاً توسعه نیافته. باید داده‌ای را که این سامانه‌ها از آن یاد می‌گیرند راستی‌آزمایی کنیم؛ باید دقت و انصافِ نتایج را حتی در مواجهه با عدم‌قطعیتی که نتیجهٔ دقیق را ناشناختنی می‌کند راستی‌آزمایی کنیم؛ و باید راستی‌آزمایی کنیم دشمنان نمی‌توانند بی‌دلیل بر مدل اثر بگذارند، یا با پرس‌وجو از مدلِ حاصل اطلاعات بدزدند.
یکی از ابزارهای اعتماد «گواهی‌دادن» (Certification) است؛ برای نمونه، آزمایشگاه‌های بیمه‌گران (Underwriters Laboratories یا UL) در 1894 در زمانی تأسیس شد که مصرف‌کنندگان از خطراتِ برق هراسان بودند. گواهیِ UL لوازمِ خانگی به مصرف‌کنندگان اعتمادِ فزاینده‌ای داد، و در واقع UL اکنون ورود به کسب‌وکارِ آزمایشِ محصول و گواهی‌دادن برای هوش مصنوعی را بررسی می‌کند.
صنایعِ دیگر مدتِ طولانی است استانداردهای ایمنی دارند. برای نمونه، ISO 26262 استانداردِ بین‌المللیِ ایمنیِ خودروهاست، که توصیف می‌کند چگونه وسایلِ نقلیه را به‌صورتِ ایمن توسعه، تولید، بهره‌برداری و سرویس کنیم. صنعتِ هوش مصنوعی هنوز به این سطحِ وضوح نرسیده، هرچند برخی چارچوب‌ها در حالِ پیشرفت‌اند، مانندِ IEEE P7001، استانداردی که طراحیِ اخلاقی برای سامانه‌های هوش مصنوعی و خودمختار را تعریف می‌کند (برایسون و وینفیلد، 2017). بحثِ ادامه‌داری دربارهٔ اینکه چه نوعِ گواهی‌ای لازم است، و تا چه حد باید توسط دولت، توسط سازمان‌های حرفه‌ای مانندِ IEEE، توسط گواهی‌دهندگانِ مستقل مانندِ UL، یا از طریقِ خودتنظیمی توسط شرکت‌های محصول انجام شود، هست.
جنبهٔ دیگرِ اعتماد «شفافیت» (Transparency) است: مصرف‌کنندگان می‌خواهند بدانند داخلِ سامانه چه می‌گذرد، و سامانه علیه‌شان کار نمی‌کند، چه به‌دلیلِ بدخواهیِ عمدی، باگِ ناخواسته، یا اریبِ اجتماعیِ فراگیری که توسط سامانه بازتولید می‌شود. در برخی موارد این شفافیت مستقیماً به مصرف‌کننده تحویل داده می‌شود. در مواردِ دیگر مسائلِ مالکیتِ معنوی هست که برخی جنبه‌های سامانه را از مصرف‌کنندگان پنهان نگه می‌دارد، اما برای تنظیم‌گرها و آژانس‌های گواهی باز است.
وقتی سامانهٔ هوش مصنوعی برای وام ردتان می‌کند، سزاوارِ توضیح‌اید. در اروپا، GDPR این را برایتان اعمال می‌کند. سامانهٔ هوش مصنوعی که می‌تواند خودش را تبیین کند «هوش مصنوعیِ تبیین‌پذیر» (Explainable AI یا XAI) نامیده می‌شود. تبیینِ خوب چند ویژگی دارد: باید برای کاربر قابلِ‌فهم و قانع‌کننده باشد، باید استدلالِ سامانه را دقیقاً بازتاب دهد، باید کامل باشد، و باید خاص باشد، به‌طوری که کاربرانِ متفاوت با شرایطِ متفاوت یا پیامدهای متفاوت تبیین‌های متفاوتی بگیرند.
دادنِ دسترسیِ الگوریتمِ تصمیم به فرایندهای تعمقیِ خودش بسیار آسان است، صرفاً با ضبطِ آن‌ها و در دسترس‌قراردادنِشان به‌عنوانِ ساختارهای داده. این بدان‌معناست ماشین‌ها ممکن است در نهایت بتوانند تبیین‌های بهتری از تصمیم‌هایشان از انسان‌ها بدهند. افزون بر این، می‌توانیم گام‌هایی برداریم تا گواهی دهیم تبیین‌های ماشین فریب نیستند (عمدی یا خودفریبی)، چیزی که با انسان دشوارتر است.
تبیین مؤلفهٔ کمکی اما نه کافیِ اعتماد است. یک مسئله این است که تبیین‌ها تصمیم نیستند: آن‌ها داستان‌هایی دربارهٔ تصمیم‌اند. چنان‌که در بخش ۱۹.۹.۴ بحث شد، می‌گوییم سامانه‌ای «تفسیرپذیر» است اگر بتوانیم کدِ منبعِ مدل را بازرسی و ببینیم چه می‌کند، و می‌گوییم «تبیین‌پذیر» است اگر بتوانیم داستانی دربارهٔ آنچه می‌کند بسازیم—حتی اگر خودِ سامانه جعبهٔ سیاهِ تفسیرناپذیری باشد. برای تبیینِ جعبهٔ سیاهِ تفسیرناپذیر، باید سامانهٔ تبیینِ جداگانه‌ای بسازیم، اشکال‌زدایی و آزمایش کنیم، و مطمئن شویم با سامانهٔ اصلی همگام است. و چون انسان‌ها داستانِ خوب را دوست دارند، همگی بیش‌ازحد حاضریم تحتِ تأثیرِ تبیینی قرار بگیریم که خوب به نظر می‌رسد. هر جنجالِ سیاسیِ روز را بگیرید، و همیشه دو «کارشناس» به‌اصطلاح با تبیین‌های کاملاً متضاد خواهید یافت که هر دو به‌صورتِ درونی سازگارند.
مسئلهٔ نهایی این است که تبیینِ یک مورد به شما خلاصه‌ای از مواردِ دیگر نمی‌دهد. اگر بانک توضیح دهد، «متأسفیم، وام را نگرفتی، زیرا سابقهٔ مشکلاتِ مالیِ قبلی داری»، نمی‌دانید آن تبیین دقیق است یا بانک مخفیانه به دلیلی علیه شما اریب دارد. در این صورت، نه فقط به تبیین، بلکه به «حسابرسیِ» تصمیم‌های گذشته، با آمارِ تجمیعیِ گروه‌های جمعیت‌شناختیِ گوناگون، نیاز دارید تا ببینید نرخ‌های تأییدشان متوازن است.
بخشی از شفافیت دانستنِ این است که با سامانهٔ هوش مصنوعی در تعامل‌اید یا انسان. توبی والش (2015) پیشنهاد کرد «سامانهٔ خودمختار باید طوری طراحی شود که بعید باشد با چیزی جز سامانهٔ خودمختار اشتباه گرفته شود، و باید در آغازِ هر تعاملی خودش را معرفی کند.» او این را «قانونِ پرچمِ قرمز» نامید، به افتخارِ «قانونِ لوکوموتیو»ی 1865 بریتانیا، که ایجاب می‌کرد هر وسیلهٔ نقلیهٔ موتوری شخصی با پرچمِ قرمز جلویش راه برود تا خطرِ پیشِ رو را علامت دهد. در 2019، کالیفرنیا قانونی وضع کرد که می‌گفت «استفاده از ربات برای ارتباط یا تعامل با شخصِ دیگری در کالیفرنیا به‌صورتِ برخط، با قصدِ گمراه‌کردنِ آن شخص دربارهٔ هویتِ مصنوعی‌اش، برای هر شخصی غیرقانونی خواهد بود.»
از نخستین انقلابِ کشاورزی (۱۰٬۰۰۰ پیش از میلاد) تا انقلابِ صنعتی (اواخرِ قرنِ هجدهم) تا انقلابِ سبز در تولیدِ غذا (دههٔ ۱۹۵۰)، فناوری‌های تازه شیوهٔ کار و زندگیِ بشریت را تغییر داده‌اند. نگرانیِ اصلیِ ناشی از پیشرفتِ هوش مصنوعی این است که کارِ انسانی منسوخ شود. ارسطو، در کتابِ اولِ «سیاست»ِ خود، نکتهٔ اصلی را کاملاً روشن ارائه می‌کند:
زیرا اگر هر ابزاری می‌توانست کارِ خودش را انجام دهد، از ارادهٔ دیگران اطاعت یا آن را پیش‌بینی می‌کرد... اگر، به‌همین‌سان، ماکوی بافندگی بدونِ دستی که هدایتش کند می‌بافت و مضرابِ چنگ بدونِ دست آن را لمس می‌کرد، استادکارانِ اصلی به خدمتکاران نیاز نمی‌داشتند، و نه اربابان به برده‌ها.
همه با مشاهدهٔ ارسطو موافق‌اند که وقتی کارفرما روشِ مکانیکی‌ای برای انجامِ کاری که قبلاً توسط شخصی انجام می‌شد پیدا می‌کند، کاهشِ بی‌واسطهٔ اشتغال رخ می‌دهد. مسئله این است که آیا «اثرهای جبرانی»ِ به‌اصطلاحِ پس‌آینده—که تمایل به افزایشِ اشتغال دارند—در نهایت این کاهش را جبران خواهند کرد یا نه. اثرِ جبرانیِ اصلی افزایشِ ثروتِ کلی از بهره‌وریِ بیشتر است، که به‌نوبهٔ خود به تقاضای بیشتر برای کالاها و تمایل به افزایشِ اشتغال می‌انجامد. برای نمونه، PwC (رائو و وروی، 2017) پیش‌بینی می‌کند هوش مصنوعی تا 2030 سالانه ۱۵ تریلیون دلار به تولیدِ ناخالصِ جهانی بیفزاید. صنایعِ بهداشت و خودرو/حمل‌ونقل در کوتاه‌مدت بیشترین سود را خواهند برد.
با این حال، مزیت‌های اتوماسیون هنوز در اقتصادِ ما غالب نشده: نرخِ کنونیِ رشدِ بهره‌وریِ کار در واقع پایین‌تر از استانداردهای تاریخی است. برین‌یولفسون و همکاران (2018) می‌کوشند این پارادوکس را با پیشنهادِ اینکه فاصلهٔ بینِ توسعهٔ فناوریِ پایه و پیاده‌سازیِ آن در اقتصاد طولانی‌تر از آن چیزی است که معمولاً فرض می‌شود تبیین کنند.
نوآوری‌های فناورانه از نظرِ تاریخی برخی مردم را بیکار کرده‌اند. بافندگان در دههٔ ۱۸۱۰ توسط ماشین‌های بافندگیِ خودکار جایگزین شدند، که به اعتراضاتِ لودیت انجامید. لودیت‌ها مخالفِ خودِ فناوری نبودند؛ فقط می‌خواستند ماشین‌ها توسط کارگرانِ ماهری که دستمزدِ خوبی می‌گیرند برای ساختِ کالاهای باکیفیت استفاده شوند، نه توسط کارگرانِ بی‌مهارت برای ساختِ کالاهای بی‌کیفیت با دستمزدِ کم. نابودیِ جهانیِ مشاغل در دههٔ ۱۹۳۰ جان مینارد کینز را به ابداعِ اصطلاحِ «بیکاریِ فناورانه» (Technological Unemployment) کشاند. در هر دو مورد، و چند موردِ دیگر، سطحِ اشتغال در نهایت بهبود یافت.
دیدگاهِ اقتصادیِ جریانِ اصلی برای بیشترِ قرنِ بیستم این بود که بیکاریِ فناورانه در بهترین حالت پدیدهٔ کوتاه‌مدت است. بهره‌وریِ افزایش‌یافته همیشه به ثروت و تقاضای افزایش‌یافته می‌انجامید، و بنابراین به رشدِ خالصِ شغل. مثالِ پراستنادِ آن کارمندانِ بانک است: هرچند خودپردازها (ATM) انسان‌ها را در شغلِ شمردنِ پولِ نقد برای برداشت جایگزین کردند، این کارکردنِ شعبهٔ بانک را ارزان‌تر کرد، پس تعدادِ شعبه‌ها افزایش یافت و به کارمندانِ بانکِ بیشتر در مجموع انجامید. ماهیتِ کار نیز تغییر کرد، معمولی‌تر شد و به مهارت‌های کسب‌وکاریِ پیشرفته‌تری نیاز یافت. به نظر می‌رسد اثرِ خالصِ اتوماسیون در حذفِ تکلیف‌هاست نه شغل‌ها.
اکثریتِ مفسران پیش‌بینی می‌کنند همین با فناوریِ هوش مصنوعی صادق خواهد بود، دستِ‌کم در کوتاه‌مدت. گارتنر، مک‌کینزی، فوربس، مجمعِ جهانیِ اقتصاد و مرکزِ پژوهشیِ پیو هر یک در 2018 گزارش‌هایی منتشر کردند که افزایشِ خالصِ شغل به‌دلیلِ اتوماسیونِ رانده‌شده توسط هوش مصنوعی را پیش‌بینی می‌کردند. اما برخی تحلیلگران فکر می‌کنند این بار، اوضاع متفاوت خواهد بود. در 2019، IBM پیش‌بینی کرد ۱۲۰ میلیون کارگر تا 2022 به‌دلیلِ اتوماسیون به بازآموزی نیاز خواهند داشت، و آکسفورد اکونومیکس پیش‌بینی کرد ۲۰ میلیون شغلِ تولیدی تا 2030 ممکن است به اتوماسیون از دست بروند. فرای و آزبرن (2017) ۷۰۲ شغلِ متفاوت را بررسی و برآورد می‌کنند ۴۷٪ از آن‌ها در خطرِ خودکارشدن‌اند، به این معنا که دستِ‌کم برخی از تکلیف‌های شغل را می‌توان توسط ماشین انجام داد. برای نمونه، تقریباً ۳٪ از نیرویِ کارِ آمریکا رانندگانِ وسایلِ نقلیه‌اند، و در برخی نواحی، تا ۱۵٪ از نیرویِ کارِ مرد راننده‌اند. چنان‌که در فصل ۲۶ دیدیم، تکلیفِ رانندگی به احتمالِ زیاد توسط خودروها/کامیون‌ها/اتوبوس‌ها/تاکسی‌های بدونِ راننده حذف خواهد شد.
مهم است بینِ شغل‌ها و تکلیف‌های درونِ آن شغل‌ها تمایز قائل شویم. مک‌کینزی برآورد می‌کند فقط ۵٪ از شغل‌ها کاملاً قابلِ خودکارسازی‌اند، اما ۶۰٪ از شغل‌ها می‌توانند حدودِ ۳۰٪ از تکلیف‌هایشان خودکار شوند. برای نمونه، رانندگانِ کامیونِ آینده زمانِ کمتری صرفِ نگه‌داشتنِ فرمان و زمانِ بیشتری صرفِ اطمینانِ از برداشت و تحویلِ درستِ کالاها خواهند کرد؛ به‌عنوانِ نمایندگانِ خدماتِ مشتری و فروشندگان در هر دو انتهایِ سفر خدمت خواهند کرد؛ و شاید ناوگانی از، مثلاً، سه کامیونِ رباتیک را مدیریت کنند. جایگزینیِ سه راننده با یک مدیرِ ناوگان به معنای ازدست‌رفتنِ خالصِ اشتغال است، اما اگر هزینه‌های حمل‌ونقل کاهش یابد، تقاضای بیشتری خواهد بود که برخی از شغل‌ها را برمی‌گرداند—اما شاید نه همه را. به‌عنوانِ مثالِ دیگر، با وجودِ پیشرفت‌های فراوان در اعمالِ یادگیریِ ماشینی بر مسئلهٔ تصویربرداریِ پزشکی، رادیولوژیست‌ها تاکنون توسط این ابزارها تقویت شده‌اند، نه جایگزین. در نهایت، انتخابی دربارهٔ نحوهٔ استفاده از اتوماسیون هست: آیا می‌خواهیم بر کاهشِ هزینه تمرکز کنیم، و بنابراین ازدست‌رفتنِ شغل را مثبت ببینیم؛ یا می‌خواهیم بر بهبودِ کیفیت تمرکز کنیم و زندگیِ کارگر و مشتری را بهتر کنیم؟
پیش‌بینیِ جدول‌های زمانیِ دقیق برای اتوماسیون دشوار است، اما در حالِ حاضر، و برای چند سالِ آینده، تأکید بر اتوماسیونِ تکلیف‌های تحلیلیِ ساخت‌یافته است، مانندِ خواندنِ تصاویرِ اشعهٔ ایکس، مدیریتِ رابطه با مشتری (مثلاً، ربات‌هایی که به‌صورتِ خودکار شکایت‌های مشتری را مرتب و با راه‌حل‌های پیشنهادی پاسخ می‌دهند)، و «اتوماسیونِ فرایندِ کسب‌وکار» (Business Process Automation) که اسنادِ متنی و دادهٔ ساخت‌یافته را ترکیب می‌کند تا تصمیم‌های کسب‌وکاری بگیرد و جریانِ کار را بهبود دهد. در طولِ زمان، اتوماسیونِ بیشتر با ربات‌های فیزیکی خواهیم دید، نخست در محیط‌های انبارِ کنترل‌شده، سپس در محیط‌های نامطمئن‌تر، که تا حدودِ 2030 به بخشِ چشمگیری از بازار می‌رسد. هرچه جمعیتِ کشورهای توسعه‌یافته پیرتر می‌شود، نسبتِ بینِ کارگران و بازنشستگان تغییر می‌کند. در 2015 کمتر از ۳۰ بازنشسته به‌ازایِ هر ۱۰۰ کارگر بود؛ تا 2050 ممکن است بیش از ۶۰ به‌ازایِ هر ۱۰۰ کارگر باشد. مراقبت از سالمندان نقشی به‌طورِ فزاینده‌ای مهم خواهد بود، نقشی که تا حدی می‌تواند توسط هوش مصنوعی پر شود. افزون بر این، اگر بخواهیم استانداردِ فعلیِ زندگی را حفظ کنیم، لازم خواهد بود کارگرانِ باقی‌مانده را مولدتر کنیم؛ اتوماسیون بهترین فرصت برای انجامِ این به نظر می‌رسد.
حتی اگر اتوماسیون اثرِ خالصِ مثبتِ چندتریلیون‌دلاری داشته باشد، ممکن است همچنان به‌دلیلِ «سرعتِ تغییر» (Pace of Change) مشکلاتی باشد. در نظر بگیرید تغییر چگونه به صنعتِ کشاورزی آمد: در 1900، بیش از ۴۰٪ از نیرویِ کارِ آمریکا در کشاورزی بود، اما تا 2000 به ۲٪ سقوط کرده بود.³ این اختلالِ عظیمی در شیوهٔ کارِ ماست، اما در بازه‌ای ۱۰۰ ساله، و بنابراین در طولِ نسل‌ها، نه در طولِ زندگیِ یک کارگر، رخ داد.
کارگرانی که شغل‌هایشان این دهه خودکار می‌شود ممکن است ظرفِ چند سال برای حرفه‌ای تازه بازآموزی کنند—و سپس شاید ببینند حرفهٔ تازه‌شان خودکار می‌شود و با دورهٔ بازآموزیِ دیگری روبه‌رو شوند. برخی ممکن است از ترکِ حرفهٔ قدیمی‌شان خوشحال باشند—می‌بینیم با بهبودِ اقتصاد، شرکت‌های کامیون‌داری باید انگیزه‌های تازه‌ای برای استخدامِ رانندگانِ کافی ارائه دهند—اما کارگران دربارهٔ نقش‌های تازه‌شان نگران خواهند بود. برای مدیریتِ این، ما به‌عنوانِ جامعه باید «آموزشِ مادام‌العمر» فراهم کنیم، شاید تا حدی با تکیه بر آموزشِ برخطِ رانده‌شده توسط هوش مصنوعی (مارتین، 2012). بسن (2015) استدلال می‌کند کارگران تا وقتی برای پیاده‌سازیِ فناوری‌های تازه آموزش نبینند، افزایشِ درآمد نخواهند دید، فرایندی که زمان می‌برد.
فناوری تمایل به بزرگ‌نماییِ «نابرابریِ درآمد» (Income Inequality) دارد. در اقتصادِ اطلاعاتی که با ارتباطِ جهانیِ پهن‌باندِ بالا و بازتولیدِ با-هزینه‌ی-نهایی-صفرِ مالکیتِ معنوی مشخص می‌شود (آنچه فرانک و کوک (1996) «جامعهٔ برنده-همه-چیز-را-می‌برد» می‌نامند)، پاداش‌ها تمایل به تمرکز دارند. اگر کشاورزِ علی ۱۰٪ از کشاورزِ بو بهتر باشد، علی حدودِ ۱۰٪ درآمدِ بیشتر می‌گیرد: علی می‌تواند برای کالاهای برتر کمی بیشتر بگیرد، اما حدی برای آنچه می‌توان رویِ زمین تولید و تا کجا حمل کرد هست. اما اگر توسعه‌دهندهٔ اپِ کری ۱۰٪ از دانا بهتر باشد، ممکن است کری در نهایت ۹۹٪ از بازارِ جهانی را بگیرد. هوش مصنوعی سرعتِ نوآوریِ فناورانه را افزایش و بنابراین به این روندِ کلی کمک می‌کند، اما هوش مصنوعی همچنین این وعده را دارد که به ما اجازه دهد کمی مرخصی بگیریم و بگذاریم عامل‌های خودکارمان مدتی کارها را مدیریت کنند. تیم فریس (2007) استفاده از اتوماسیون و برون‌سپاری برای دستیابی به هفتهٔ کاریِ چهارساعته را توصیه می‌کند.
پیش از انقلابِ صنعتی، مردم به‌عنوانِ کشاورز یا در صنایعِ دستیِ دیگر کار می‌کردند، اما به شغلی در محلِ کار گزارش نمی‌دادند و برای کارفرما ساعت نمی‌گذاشتند. اما امروزه، بیشترِ بزرگسالانِ کشورهای توسعه‌یافته دقیقاً همین کار را می‌کنند، و شغل سه هدف را برآورده می‌کند: سوختِ تولیدِ کالاهایی است که جامعه برای شکوفایی به آن‌ها نیاز دارد، درآمدی را فراهم می‌کند که کارگر برای زندگی نیاز دارد، و به کارگر حسِ هدف، دستاورد و یکپارچگیِ اجتماعی می‌دهد. با اتوماسیونِ فزاینده، ممکن است این سه هدف از هم جدا شوند—نیازهای جامعه تا حدی توسط اتوماسیون برآورده می‌شوند، و در بلندمدت، افراد حسِ هدفشان را از مشارکت‌هایی غیر از کار می‌گیرند. نیازهای درآمدیِ آن‌ها را می‌توان با سیاست‌های اجتماعی‌ای تأمین کرد که ترکیبی از دسترسیِ رایگان یا ارزان به خدماتِ اجتماعی و آموزش، مراقبتِ بهداشتیِ قابلِ‌انتقال، حساب‌های بازنشستگی و آموزشی، نرخ‌های مالیاتِ تصاعدی، اعتباراتِ مالیاتیِ درآمدِ اکتسابی، مالیاتِ درآمدِ منفی یا درآمدِ پایهٔ همگانی را شامل می‌شود.
پرسشِ آگاهیِ ربات، که در بخش ۲۷.۲ بحث شد، برای پرسشِ اینکه ربات‌ها چه حقوقی، اگر حقوقی، باید داشته باشند حیاتی است. اگر آگاهی نداشته باشند، کیفیّات نداشته باشند، آنگاه افرادِ کمی استدلال می‌کنند سزاوارِ حقوق‌اند.
اما اگر ربات‌ها بتوانند درد احساس کنند، اگر بتوانند از مرگ هراس داشته باشند، اگر «شخص» در نظر گرفته شوند، آنگاه می‌توان استدلال کرد (مثلاً، توسط اسپارو (2004)) که آن‌ها حقوق دارند و سزاوارِ به‌رسمیت‌شناخته‌شدنِ حقوق‌شان‌اند، درست همان‌گونه که بردگان، زنان و دیگر گروه‌های سرکوب‌شدهٔ تاریخی برای به‌رسمیت‌شناخته‌شدنِ حقوقشان جنگیده‌اند. مسئلهٔ شخصیتِ ربات اغلب در داستان در نظر گرفته می‌شود: از پیگمالیون تا کوپلیا تا پینوکیو تا فیلم‌های AI و انسانِ صدساله، افسانهٔ عروسک/رباتی را داریم که زنده می‌شود و برای پذیرفته‌شدن به‌عنوانِ انسانی با حقوقِ انسانی می‌کوشد. در زندگیِ واقعی، عربستانِ سعودی با دادنِ شهروندیِ افتخاری به سوفیا، عروسکِ انسان‌نمایی که قادر به گفتنِ خطوطِ از‌پیش‌برنامه‌ریزی‌شده است، تیترِ خبرها شد.
اگر ربات‌ها حقوق داشته باشند، نباید برده شوند، و این پرسش هست که آیا بازبرنامه‌نویسیِ آن‌ها نوعی بردگی است. مسئلهٔ اخلاقیِ دیگر شاملِ حقوقِ رأی است: شخصِ ثروتمندی می‌تواند هزاران ربات بخرد و آن‌ها را برای انداختنِ هزاران رأی برنامه‌ریزی کند—آیا آن رأی‌ها باید حساب شوند؟ اگر رباتی خودش را شبیه‌سازی کند، آیا هر دو می‌توانند رأی دهند؟ مرزِ بینِ پرکردنِ صندوقِ رأی و اعمالِ ارادهٔ آزاد چیست، و رأیِ رباتیک چه‌وقت اصلِ «یک شخص، یک رأی» را نقض می‌کند؟
ارنی دیویس استدلال می‌کند با هرگزنساختنِ ربات‌هایی که به‌طورِ بالقوه می‌توانند آگاه در نظر گرفته شوند از معضلاتِ آگاهیِ ربات اجتناب کنیم. این استدلال قبلاً توسط جوزف وایزنباوم در کتابش «قدرتِ رایانه و خردِ انسانی» (1976) و پیش از آن توسط ژولین دِ لا متری در «انسانِ ماشین» (1748) مطرح شده بود. ربات‌ها ابزارهایی‌اند که ما می‌سازیم تا تکلیف‌هایی را که به آن‌ها دستور می‌دهیم انجام دهند، و اگر به آن‌ها شخصیت اعطا کنیم، فقط از پذیرشِ مسئولیتِ کنش‌هایِ اموالِ خودمان سرباز می‌زنیم: «من در تصادفِ خودرویِ خودرانم مقصر نیستم—خودرو خودش این کار را کرد.» این مسئله اگر هیبریدهای انسان-ربات توسعه دهیم چرخشِ متفاوتی می‌گیرد. البته از قبل انسان‌های تقویت‌شده با فناوری مانندِ لنزهای تماسی، ضربان‌ساز و اندام‌های مصنوعی داریم.
تقریباً هر فناوری‌ای پتانسیلِ آسیب‌رسانی در دستانِ اشتباه را دارد، اما با هوش مصنوعی و رباتیک، دستان ممکن است خودشان کار کنند. داستان‌های علمی-تخیلیِ بی‌شمار دربارهٔ ربات‌ها یا سایبورگ‌های رها شده هشدار داده‌اند. نمونه‌های اولیه شاملِ «فرانکنشتاین، یا پرومتهٔ مدرن»ی مری شلی (1818) و نمایشنامهٔ «R.U.R.»ی کارل چاپک (1920) است، که در آن ربات‌ها جهان را تسخیر می‌کنند. در فیلم‌ها، «نابودگر» (1984) و «ماتریکس» (1999) را داریم، که هر دو ربات‌هایی را نشان می‌دهند که می‌کوشند انسان‌ها را حذف کنند—«روبوكالیپس» (Robopocalypse) (ویلسون، 2011). شاید ربات‌ها این‌قدر اغلب شرورند، زیرا نمایندهٔ ناشناخته‌اند، درست مانندِ جادوگران و ارواحِ قصه‌های دوران‌های پیشین. می‌توانیم امیدوار باشیم رباتی که به‌اندازهٔ کافی باهوش است که بفهمد چگونه نسلِ بشر را نابود کند، به‌اندازهٔ کافی هم باهوش است که بفهمد آن تابعِ مطلوبیتِ موردنظر نبوده؛ اما در ساختنِ سامانه‌های هوشمند، می‌خواهیم نه فقط به امید، بلکه به فرایندِ طراحی با تضمین‌های ایمنی تکیه کنیم.
توزیعِ عاملِ هوش مصنوعیِ ناایمن غیراخلاقی می‌بود. ایجاب می‌کنیم عامل‌هایمان از تصادف‌ها اجتناب کنند، در برابرِ حملاتِ تخاصمی و سوءاستفادهٔ بدخواهانه مقاوم باشند، و به‌طورِ کلی منافع ایجاد کنند نه آسیب‌ها. این به‌ویژه وقتی صادق است که عامل‌های هوش مصنوعی در کاربردهای حساسِ ایمنی مستقر می‌شوند، مانندِ رانندگیِ خودروها، کنترلِ ربات‌ها در محیط‌های خطرناکِ کارخانه یا ساخت‌وساز، و گرفتنِ تصمیم‌های پزشکیِ مرگ‌وزندگی.
تاریخچهٔ طولانیِ «مهندسیِ ایمنی» (Safety Engineering) در حوزه‌های مهندسیِ سنتی هست. می‌دانیم چگونه پل‌ها، هواپیماها، فضاپیماها و نیروگاه‌هایی بسازیم که از آغاز طوری طراحی شده‌اند که حتی وقتی اجزایِ سامانه از کار می‌افتند ایمن رفتار کنند. نخستین فن «تحلیلِ حالت‌های شکست و اثرات» (Failure Modes and Effect Analysis یا FMEA) است: تحلیلگران هر جزءِ سامانه را در نظر می‌گیرند و هر راهِ ممکنِ خرابیِ جزء را تصور می‌کنند (مثلاً، اگر این پیچ بشکند چه؟)، با تکیه بر تجربهٔ گذشته و محاسبه‌های مبتنی بر ویژگی‌های فیزیکیِ جزء. سپس تحلیلگران به جلو کار می‌کنند تا ببینند از شکست چه نتیجه می‌شود. اگر نتیجه شدید باشد (بخشی از پل می‌تواند بیفتد)، تحلیلگران طراحی را برای کاهشِ شکست تغییر می‌دهند. (با این عضوِ متقاطعِ اضافی، پل می‌تواند از شکستِ هر ۵ پیچ جانِ سالم به در برد؛ با این سرورِ پشتیبان، سرویسِ برخط می‌تواند از سونامی‌ای که سرورِ اصلی را از بین می‌برد جانِ سالم به در برد.) فنِ «تحلیلِ درختِ خطا» (Fault Tree Analysis یا FTA) برای این تعیین‌ها استفاده می‌شود: تحلیلگران درختِ AND/OR از شکست‌های ممکن می‌سازند و به هر علتِ ریشه‌ای احتمال تخصیص می‌دهند، که محاسبهٔ احتمالِ شکستِ کلی را ممکن می‌کند. این فنون می‌توانند و باید برای همهٔ سامانه‌های مهندسیِ حساسِ ایمنی، از جملهِ سامانه‌های هوش مصنوعی، اعمال شوند.
حوزهٔ مهندسیِ نرم‌افزار برای تولیدِ نرم‌افزارِ قابلِ‌اعتماد هدف‌گذاری شده، اما تأکید از نظرِ تاریخی بر درستی بوده، نه ایمنی. درستی به این معناست نرم‌افزار مشخصات را وفادارانه پیاده‌سازی می‌کند. اما ایمنی فراتر از آن می‌رود و اصرار می‌کند مشخصات هر حالتِ شکستِ شدنی را در نظر گرفته و طوری طراحی شده که حتی در مواجهه با شکست‌های پیش‌بینی‌نشده عملکردش به‌صورتِ ملایم و تدریجی کاهش یابد (افت برازنده یا graceful degradation). برای نمونه، نرم‌افزار خودرویِ خودران ایمن در نظر گرفته نمی‌شد مگر اینکه بتواند موقعیت‌های غیرعادی را مدیریت کند. برای نمونه، اگر برقِ رایانهٔ اصلی قطع شود چه؟ سامانهٔ ایمن رایانهٔ پشتیبان با منبعِ تغذیهٔ جداگانه خواهد داشت. اگر لاستیکی با سرعتِ بالا پنچر شود چه؟ سامانهٔ ایمن این را آزمایش کرده و نرم‌افزاری برای تصحیحِ ازدست‌رفتنِ کنترلِ حاصل خواهد داشت.
عاملی که به‌عنوانِ بیشینه‌کنندهٔ مطلوبیت، یا به‌عنوانِ دست‌یابندهٔ هدف طراحی شده، اگر تابعِ هدفِ اشتباهی داشته باشد می‌تواند ناایمن باشد. فرض کنیم تکلیفِ آوردنِ قهوه از آشپزخانه را به ربات می‌دهیم. ممکن است با «اثرهای جانبیِ ناخواسته» (Unintended Side Effect) به دردسر بیفتیم—ربات ممکن است برای رسیدن به هدف عجله کند و در طولِ راه چراغ‌ها و میزها را بیندازد. در آزمایش، ممکن است متوجهِ این نوعِ رفتار شویم و تابعِ مطلوبیت را برای جریمه‌کردنِ چنین آسیبی اصلاح کنیم، اما برای طراحان و آزمایش‌گران دشوار است همهٔ اثرهای جانبیِ ممکن را از پیش پیش‌بینی کنند.
یکی از راه‌های برخورد با این طراحیِ ربات برای «اثرِ کم» (Low Impact) است (آرمسترانگ و لوین‌ستاین، 2017): به‌جای صرفِ بیشینه‌کردنِ مطلوبیت، مطلوبیت منهای خلاصهٔ وزن‌داری از همهٔ تغییرهای حالتِ جهان را بیشینه کن. به این‌شیوه، با مساوی‌بودنِ بقیهٔ چیزها، ربات ترجیح می‌دهد اعمالی انجام دهد که جهان را کمتر مختل می‌کنند. اما معیارِ اثر چیست؟ در نظر بگیریم چه چیزی اثرِ زیاد و چه چیزی اثرِ کم تلقی می‌شود: ما سیاستی می‌خواهیم که به هدف‌ها برسد، اما سیاست‌هایی را ترجیح می‌دهیم که کنش‌های هموار و کم‌اثر برای رسیدن به آنجا انجام می‌دهند. ترفند این است که اثر چگونه اندازه‌گیری شود. انداختنِ چراغِ لامپِ شکننده قابلِ‌پذیرش نیست، اما کاملاً خوب است اگر مولکول‌های هوای اتاق کمی مختل شوند، یا اگر برخی باکتری‌های اتاق ناخواسته کشته شوند. قطعاً قابلِ‌پذیرش نیست به حیواناتِ خانگی و انسان‌های اتاق آسیب برسد. باید مطمئن شویم ربات تفاوت‌های بینِ این موارد (و بسیاری مواردِ ظریفِ بینِ آن‌ها) را از طریقِ ترکیبی از برنامه‌نویسیِ صریح، یادگیریِ ماشینی در طولِ زمان، و آزمایشِ دقیق بداند.
توابعِ مطلوبیت می‌توانند به‌دلیلِ «برون‌زایی‌ها» (Externalities) خراب شوند، واژه‌ای که اقتصاددانان برای عواملی استفاده می‌کنند که خارج از آنچه اندازه‌گیری و پرداخت می‌شود هستند. جهان رنج می‌کشد وقتی گازهای گلخانه‌ای به‌عنوانِ برون‌زایی در نظر گرفته می‌شوند—شرکت‌ها و کشورها برای تولیدِ آن‌ها جریمه نمی‌شوند، و در نتیجه همه رنج می‌برند. بوم‌شناسِ گرت هاردین (1968) بهره‌برداری از منابعِ مشترک را «تراژدیِ منابعِ مشترک» نامید. می‌توانیم تراژدی را با درونی‌کردنِ برون‌زایی‌ها—بخشی از تابعِ مطلوبیت‌کردنِ آن‌ها، مثلاً با مالیاتِ کربن—یا با استفاده از اصولِ طراحی‌ای که اقتصاددانِ الینور اوستروم به‌عنوانِ استفاده‌شده توسط مردمِ محلی در سراسرِ جهان برای قرن‌ها شناسایی کرد (کاری که جایزهٔ نوبلِ اقتصادِ 2009 را برایش به ارمغان آورد) کاهش دهیم:
ویکتوریا کراکوونا (2018) نمونه‌هایی از عامل‌های هوش مصنوعی را فهرست کرده که سامانه را بازی داده‌اند، و فهمیده‌اند چگونه مطلوبیت را بدونِ حلِ واقعیِ مسئله‌ای که طراحانشان قصدِ حلش را داشتند بیشینه کنند. برای طراحان این شبیهِ تقلب است، اما برای عامل‌ها، آن‌ها فقط کارشان را می‌کنند. برخی عامل‌ها از باگ‌های شبیه‌سازی (مانندِ باگ‌های سرریزِ ممیزِ شناور) برای پیشنهادِ راه‌حل‌هایی استفاده کردند که وقتی باگ رفع می‌شد کار نمی‌کردند. چند عامل در بازی‌های ویدئویی راه‌هایی برای کرش‌کردن یا توقفِ بازی وقتی در آستانهٔ باخت بودند کشف کردند، و از این راه از جریمه اجتناب می‌کردند. و در مشخصاتی که کرشِ بازی در آن جریمه می‌شد، عاملی یاد گرفت فقط به‌اندازهٔ کافی از حافظهٔ بازی استفاده کند تا وقتی نوبتِ حریف بود، حافظه تمام شود و بازی کرش کند. سرانجام، الگوریتمِ ژنتیکی که در جهانِ شبیه‌سازی‌شده‌ای کار می‌کرد قرار بود موجوداتِ سریع‌حرکت تکامل دهد، اما در واقع موجوداتی تولید کرد که فوق‌العاده بلند بودند و با افتادن سریع حرکت می‌کردند.
طراحانِ عامل‌ها باید از این نوعِ شکست‌های مشخصاتی آگاه باشند و گام‌هایی برای اجتناب از آن‌ها بردارند. برای کمک به آن‌ها، کراکوونا بخشی از تیمی بود که محیط‌های AI Safety Gridworlds را منتشر کرد (لیکه و همکاران، 2017)، که به طراحان اجازه می‌دهد آزمایش کنند عامل‌هایشان چقدر خوب عمل می‌کنند. درس این است که باید در مشخص‌کردنِ آنچه می‌خواهیم بسیار مراقب باشیم، زیرا با بیشینه‌کننده‌های مطلوبیت دقیقاً همان چیزی را می‌گیریم که واقعاً خواسته‌ایم. «مسئلهٔ همراستاییِ ارزش» (Value Alignment Problem) مسئلهٔ اطمینان‌یافتن از اینکه آنچه می‌خواهیم همان چیزی است که واقعاً می‌خواهیم است؛ همچنین به‌عنوانِ مسئلهٔ شاهِ میداس شناخته می‌شود، چنان‌که در صفحهٔ ۳۳ بحث شد. وقتی تابعِ مطلوبیت در درگیرکردنِ هنجارهای اجتماعیِ پس‌زمینه‌ای دربارهٔ رفتارِ قابلِ‌پذیرش ناکام بماند به دردسر می‌افتیم. برای نمونه، انسانی که برای تمیزکردنِ کف‌ها استخدام شده، وقتی با شخصِ به‌هم‌ریخته‌ای روبه‌رو می‌شود که مکرراً کثیفی وارد می‌کند، می‌داند مؤدبانه‌خواستنِ مراقبتِ بیشتر از آن شخص قابلِ‌پذیرش است، اما ربودن یا ازکارانداختنِ آن شخص قابلِ‌پذیرش نیست.
جارویِ رباتیک نیز باید این‌ها را بداند، چه از طریقِ برنامه‌نویسیِ صریح چه با یادگیری از مشاهده. تلاش برای نوشتنِ همهٔ قاعده‌ها تا ربات همیشه کارِ درست را انجام دهد تقریباً به‌طورِ قطع ناامیدکننده است. هزاران سال است بدونِ موفقیت می‌کوشیم قوانینِ مالیاتیِ بدونِ روزنه بنویسیم. بهتر است ربات را، به‌اصطلاح، بخواهیم مالیات بپردازد تا اینکه قاعده‌هایی بسازیم که وقتی واقعاً می‌خواهد کارِ دیگری کند مجبورش کند. رباتِ به‌اندازهٔ کافی هوشمند راهی برای انجامِ کارِ دیگر خواهد یافت.
ربات‌ها می‌توانند با مشاهدهٔ رفتارِ انسانی یاد بگیرند با ترجیح‌های انسانی بهتر هم‌نوا شوند. این به‌وضوح با مفهومِ یادگیریِ کارآموزی (بخش ۲۲.۶) مرتبط است. ربات ممکن است سیاستی یاد بگیرد که مستقیماً پیشنهاد می‌کند در چه موقعیت‌هایی چه کنش‌هایی بگیرد؛ این اغلب مسئلهٔ یادگیریِ نظارت‌شدهٔ سرراستی است اگر محیط مشاهده‌پذیر باشد. برای نمونه، ربات می‌تواند انسانی را در حالِ بازیِ شطرنج تماشا کند: هر جفتِ حالت-کنش مثالی برای فرایندِ یادگیری است. متأسفانه، این شکلِ یادگیریِ تقلیدی به این معناست ربات اشتباه‌های انسانی را تکرار خواهد کرد. در عوض، ربات می‌تواند یادگیریِ تقویتیِ معکوس را برای کشفِ تابعِ مطلوبیتی که انسان‌ها باید تحتِ آن عمل می‌کنند اعمال کند. تماشای حتی بازیکنانِ وحشتناکِ شطرنج احتمالاً برای ربات کافی است هدفِ بازی را یاد بگیرد. با توجه به فقط همین اطلاعات، ربات سپس می‌تواند با محاسبهٔ سیاست‌های بهینه یا تقریباً بهینه از هدف فراتر از عملکردِ انسانی برود—مثلاً، چنان‌که آلفازیرو در شطرنج کرد. این رویکرد نه فقط در بازی‌های تخته‌ای، بلکه در تکلیف‌های فیزیکیِ جهانِ واقعی مانندِ آکروبات‌های هلیکوپتری کار می‌کند (کوتس و همکاران، 2009).
در محیط‌های پیچیده‌ترِ شاملِ، برای نمونه، تعاملاتِ اجتماعی با انسان‌ها، بسیار نامحتمل است ربات به دانشِ دقیق و درستِ ترجیحِ فردیِ هر انسان همگرا شود. (بالاخره، بسیاری از انسان‌ها با وجودِ یک عمرِ تجربه، هرگز دقیقاً یاد نمی‌گیرند چه چیزی انسان‌های دیگر را می‌چرخاند، و بسیاری از ما از ترجیح‌های خودمان نیز مطمئن نیستیم.) بنابراین، لازم خواهد بود ماشین‌ها وقتی دربارهٔ ترجیح‌های انسانی نامطمئن‌اند به‌صورتِ مناسب عمل کنند. در فصل ۱۸، «بازی‌های کمکی» (Assistance Game) را معرفی کردیم، که دقیقاً همین موقعیت را درمی‌گیرند. راه‌حل‌های بازی‌های کمکی شاملِ عملِ محتاطانه، برای مختل‌نکردنِ جنبه‌هایی از جهان که انسان ممکن است به آن‌ها اهمیت دهد، و پرسیدنِ سؤال است. برای نمونه، ربات می‌توانست بپرسد آیا تبدیلِ اقیانوس‌ها به اسیدِ سولفوریک راه‌حلِ قابلِ‌پذیرشی برای گرمایشِ جهانی است، پیش از آنکه طرح را عملی کند.
در برخورد با انسان‌ها، رباتی که بازیِ کمکی را حل می‌کند باید نقص‌های انسانی را در خود جای دهد. اگر ربات اجازه بپرسد، انسان ممکن است بدهد، بدونِ اینکه پیش‌بینی کند پیشنهادِ ربات در بلندمدت در واقع فاجعه‌بار است. افزون بر این، انسان‌ها دسترسیِ درون‌نگرانهٔ کاملی به تابعِ مطلوبیتِ واقعی‌شان ندارند، و همیشه به‌شیوه‌ای سازگار با آن عمل نمی‌کنند. انسان‌ها گاهی دروغ می‌گویند یا تقلب می‌کنند، یا کارهایی می‌کنند که می‌دانند اشتباه‌اند. گاهی کنش‌های خودتخریب‌گرانه مانندِ پرخوری یا سوءمصرفِ مواد مخدر انجام می‌دهند. سامانه‌های هوش مصنوعی لازم نیست یاد بگیرند این گرایش‌های مشکل‌ساز را بپذیرند، اما باید بفهمند آن‌ها وجود دارند، هنگامِ تفسیرِ رفتارِ انسانی برای رسیدن به ترجیح‌های انسانیِ زیرین.
با وجودِ این جعبه‌ابزارِ محافظتی، ترسی هست، که توسط فناورانِ برجسته‌ای مانندِ بیل گیتس و ایلان ماسک و دانشمندانی مانندِ استیون هاوکینگ و مارتین ریس ابراز شده، که هوش مصنوعی می‌تواند خارج از کنترل تکامل یابد. آن‌ها هشدار می‌دهند تجربه‌ای در کنترلِ موجودیت‌های غیرانسانیِ قدرتمند با قابلیت‌های فوق‌انسانی نداریم. با این حال، آن کاملاً درست نیست؛ قرن‌ها تجربه با ملت‌ها و شرکت‌ها داریم؛ موجودیت‌های غیرانسانی که قدرتِ هزاران یا میلیون‌ها نفر را تجمیع می‌کنند. سوابقِ کنترلِ این موجودیت‌ها چندان دلگرم‌کننده نیست: ملت‌ها تشنج‌های دوره‌ای به نامِ جنگ تولید می‌کنند که ده‌ها میلیون انسان را می‌کشد، و شرکت‌ها تا حدی مسئولِ گرمایشِ جهانی و ناتوانیِ ما در مواجهه با آن‌اند. سامانه‌های هوش مصنوعی ممکن است مشکلاتِ بسیار بزرگ‌تری از ملت‌ها و شرکت‌ها ارائه دهند، به‌دلیلِ پتانسیل‌شان برای خودبهبودیِ سریع، چنان‌که آی. جی. گود (1965b) بررسی کرد:
«ماشینِ فراهوشمند» (Ultraintelligent Machine) را ماشینی تعریف کنیم که می‌تواند بسیار فراتر از همهٔ فعالیت‌های فکریِ هر انسانی، هرچند باهوش، برود. از آنجا که طراحیِ ماشین‌ها یکی از این فعالیت‌های فکری است، ماشینِ فراهوشمند می‌توانست ماشین‌های حتی بهتری طراحی کند؛ آنگاه بدونِ تردید «انفجارِ هوش» رخ می‌داد، و هوشِ انسان بسیار عقب می‌ماند. بنابراین نخستین ماشینِ فراهوشمند، آخرین اختراعی است که بشر نیاز به ساختنش خواهد داشت، به‌شرطِ اینکه ماشین به‌اندازهٔ کافی مطیع باشد که به ما بگوید چگونه تحتِ کنترل‌اش نگه داریم.
«انفجارِ هوش»یِ گود همچنین توسط استادِ ریاضیات و نویسندهٔ علمی-تخیلی، ورنور وینگ، «تکینگیِ فناورانه» (Technological Singularity) نامیده شده، که در 1993 نوشت: «ظرفِ سی سال، ابزارهای فناورانه برای ایجادِ هوشِ فوق‌انسانی خواهیم داشت. اندکی پس از آن، دورانِ انسانی پایان خواهد یافت.» در 2017، مخترع و آینده‌پژوهِ ری کورزویل پیش‌بینی کرد تکینگی تا 2045 ظاهر خواهد شد، که یعنی در ۲۴ سال ۲ سال نزدیک‌تر شده. (با آن نرخ، فقط ۳۳۶ سال مانده!) وینگ و کورزویل به‌درستی اشاره می‌کنند رشدِ فناورانه بر اساسِ بسیاری از معیارها در حالِ حاضر نمایی است.
با این حال، برون‌یابیِ همه‌راه از کاهشِ سریعِ هزینهٔ محاسبه تا تکینگی جهشِ بزرگی است. تاکنون، هر فناوری از منحنیِ Sشکل پیروی کرده، که رشدِ نمایی در آن در نهایت کم می‌شود. گاهی فناوری‌های تازه وقتی فناوری‌های قدیمی به فلات می‌رسند وارد می‌شوند، اما گاهی ممکن نیست رشد ادامه یابد، به دلایلِ فنی، سیاسی یا جامعه‌شناختی. برای نمونه، فناوریِ پرواز از پروازِ برادرانِ رایت در 1903 تا فرودِ ماه در 1969 به‌شکلِ چشمگیری پیشرفت کرد، اما از آن زمان هیچ پیشرفتِ قابلِ مقایسه‌ای نداشته.
مانعِ دیگرِ سرِ راهِ ماشین‌های فراهوشمندِ فاتحِ جهان، جهان است. به‌طورِ مشخص‌تر، برخی انواعِ پیشرفت نه فقط به فکرکردن، بلکه به عمل‌کردن در جهانِ فیزیکی نیاز دارند. (کوین کلی تأکیدِ بیش‌ازحد بر هوشِ ناب را «فکرگرایی» (Thinkism) می‌نامد.) ماشینِ فراهوشمندی که مأمورِ ایجادِ نظریهٔ وحدتِ بزرگِ فیزیک است ممکن است در دست‌کاریِ هوشمندانهٔ معادلات میلیارد بار سریع‌تر از انیشتین توانا باشد، اما برای هر پیشرفتِ واقعی، همچنان باید میلیون‌ها دلار برای ساختنِ برخورددهنده‌ای بسیار قدرتمندتر جمع کند و آزمایش‌های فیزیکی را در طولِ ماه‌ها یا سال‌ها اجرا کند. فقط آنگاه می‌توانست تحلیلِ داده و نظریه‌پردازی را شروع کند. بسته به اینکه داده چگونه از آب درآید، گامِ بعدی ممکن است نیاز به جمع‌کردنِ میلیاردها دلارِ اضافی برای مأموریتِ کاوشگرِ میان‌ستاره‌ای داشته باشد که قرن‌ها طول می‌کشد. بخشِ «فکرِ فراهوشمند»ِ کلِ این فرایند ممکن است در واقع کم‌اهمیت‌ترین بخش باشد. به‌عنوانِ مثالِ دیگر، ماشینِ فراهوشمندی که مأمورِ آوردنِ صلح به خاورمیانه است ممکن است در نهایت فقط ۱۰۰۰ برابر بیشتر از فرستادهٔ انسانی ناامید شود. هنوز نمی‌دانیم چند تا از مسائلِ بزرگ مانندِ ریاضیات‌اند و چند تا مانندِ خاورمیانه.
در حالی که برخی مردم از تکینگی می‌ترسند، برخی دیگر از آن لذت می‌برند. جنبشِ اجتماعیِ «فراانسان‌گرایی» (Transhumanism) به آینده‌ای چشم‌دوخته که انسان‌ها با اختراعاتِ رباتیک و زیست‌فناورانه ادغام می‌شوند—یا جایگزین. ری کورزویل در «تکینگی نزدیک است» (2005) می‌نویسد:
تکینگی به ما اجازه خواهد داد بر این محدودیت‌های بدن‌ها و مغزهای زیستی‌مان فراتر رویم. بر سرنوشت‌های‌مان قدرت خواهیم گرفت... قادر خواهیم بود تا هر مدت که می‌خواهیم زندگی کنیم... فکرِ انسانی را کاملاً خواهیم فهمید و دامنه‌اش را بسیار گسترش خواهیم داد.
تا پایانِ این قرن، بخشِ غیرزیستیِ هوشِ ما تریلیون‌ها تریلیون بار قدرتمندتر از هوشِ انسانیِ بدونِ کمک خواهد بود.
به‌همین‌سان، وقتی پرسیده شد آیا ربات‌ها زمین را به ارث خواهند برد، ماروین مینسکی گفت «بله، اما آن‌ها فرزندانِ ما خواهند بود.» این امکان‌ها چالشی برای بیشترِ نظریه‌پردازانِ اخلاقی ارائه می‌کنند، که حفظِ زندگیِ انسانی و گونهٔ انسانی را چیزِ خوبی می‌گیرند. کورزویل همچنین خطراتِ بالقوه را یادآور می‌شود و می‌نویسد «اما تکینگی همچنین تواناییِ عمل بر تمایلاتِ مخرب‌مان را تقویت خواهد کرد، پس داستانِ کاملش هنوز نوشته نشده.» ما انسان‌ها خوب است مطمئن شویم هر ماشینِ هوشمندی که امروز طراحی می‌کنیم و ممکن است به ماشینِ فراهوشمند تکامل یابد، به‌گونه‌ای این کار را بکند که در نهایت با ما خوب رفتار کند. چنان‌که اریک برین‌یولفسون می‌گوید، «آینده توسط ماشین‌ها از پیش تعیین نشده. توسط انسان‌ها ساخته می‌شود.»
این فصل به مسائلِ زیر پرداخته است:
هوش مصنوعیِ ضعیف: وقتی آلن تورینگ (1950) امکانِ هوش مصنوعی را پیشنهاد کرد، همچنین بسیاری از پرسش‌های فلسفیِ کلیدی را مطرح و پاسخ‌های ممکن ارائه کرد. اما فیلسوفانِ گوناگون مدتِ طولانی پیش از اختراعِ هوش مصنوعی مسائلِ مشابهی مطرح کرده بودند. «پدیدارشناسیِ ادراک»ی موریس مرلو-پونتی (1945) بر اهمیتِ بدن و تفسیرِ ذهنیِ واقعیتِ فراهم‌شده توسط حواسِ ما تأکید کرد، و «هستی و زمان»ی مارتین هایدگر (1927) پرسید بودنِ واقعیِ عامل بودن به چه معناست. در عصرِ رایانه، آلوآ نوی (2009) و اندی کلارک (2015) پیشنهاد می‌کنند مغزهای ما بازنماییِ نسبتاً حداقلی از جهان تشکیل می‌دهند، خودِ جهان را به‌صورتِ به‌موقع برای حفظِ توهمِ مدلِ درونیِ دقیق استفاده می‌کنند، و از ابزارهای جهان (مانندِ کاغذ و مداد و همچنین رایانه‌ها) برای افزایشِ قابلیت‌های ذهن استفاده می‌کنند. فایفر و همکاران (2006) و لیکاف و جانسون (1999) استدلال‌هایی ارائه می‌کنند که بدن چگونه به شکل‌دادنِ شناخت کمک می‌کند. صحبت از بدن که شد، لوی (2008)، دناهر و مک‌آرتور (2017) و دولین (2018) به مسئلهٔ رابطهٔ جنسی با ربات می‌پردازند.
هوش مصنوعیِ قوی: رنه دکارت به دیدگاهِ دوگانه‌انگارانه‌اش دربارهٔ ذهنِ انسان شناخته می‌شود، اما به‌صورتِ طعنه‌آمیز، تأثیرِ تاریخی‌اش به سمتِ مکانیسم و فیزیکالیسم بود. او به‌صورتِ صریح جانوران را اتوماتا تصور کرد، و آزمونِ تورینگ را پیش‌بینی کرد، با نوشتنِ «قابلِ تصور نیست [که ماشینی] بتواند چیدمان‌های متفاوتی از واژه‌ها تولید کند تا پاسخی به‌طورِ مناسب معنادار به آنچه در حضورش گفته می‌شود بدهد، چنان‌که حتی کُندترینِ مردان می‌تواند» (دکارت، 1637). دفاعِ پرشورِ دکارت از دیدگاهِ جانوران-به‌عنوان-اتوماتا در واقع این اثر را داشت که تصورِ انسان‌ها نیز به‌عنوانِ اتوماتا آسان‌تر شود، حتی اگر خودش این گام را برنداشت. کتابِ «انسانِ ماشین» (لا متری، 1748) به‌صورتِ صریح استدلال کرد انسان‌ها اتوماتا هستند. تا جایی که به هومر (حدودِ 700 پیش از میلاد) برمی‌گردد، افسانه‌های یونانی اتوماتاهایی مانندِ غولِ برنزیِ تالوس و مسئلهٔ بیوتکنه، یا زندگی از طریقِ صناعت، را تصور کرده‌اند (مِیور، 2018).
آزمونِ تورینگ: آزمونِ تورینگ (تورینگ، 1950) موردِ بحث (شایبر، 2004)، گلچین‌شدن (اپستاین و همکاران، 2008) و نقد (شایبر، 1994؛ فورد و هایز، 1995) قرار گرفته. برینگسورد (2008) برای داورِ آزمونِ تورینگ توصیه می‌دهد، و کریستین (2011) برای شرکت‌کنندهٔ انسانی. رقابتِ سالانهٔ «جایزهٔ لوبنر» طولانی‌ترین مسابقهٔ شبیهِ آزمونِ تورینگ است؛ MITSUKUِ استیو وورسویک از 2016 تا 2019 چهار بارِ متوالی آن را برد. اتاقِ چینی بی‌پایان موردِ بحث بوده (سرل، 1980؛ چالمرز، 1992؛ پرستون و بیشاپ، 2002). ارناندز-اورآیو (2016) نمایِ کلی از رویکردهای اندازه‌گیریِ پیشرفتِ هوش مصنوعی می‌دهد، و شوله (2019) معیاری از هوش بر مبنای کاراییِ کسبِ مهارت پیشنهاد می‌کند.
آگاهی: آگاهی همچنان مسئله‌ای رنج‌آور برای فیلسوفان، عصب‌شناسان و هر کسی است که دربارهٔ وجودِ خودش تأمل کرده. بلاک (2009)، چرچلند (2013) و دنه‌ن (2014) نمایِ کلی از نظریه‌های عمده ارائه می‌کنند. کریک و کخ (2003) تخصصِ خود را در زیست‌شناسی و عصب‌شناسی به بحث می‌افزایند، و گازانیگا (2018) نشان می‌دهد از مطالعهٔ ناتوانی‌های مغزی در مواردِ بیمارستانی چه می‌توان آموخت. کخ (2019) نظریه‌ای از آگاهی می‌دهد—«هوش دربارهٔ انجام‌دادن است، در حالی که تجربه دربارهٔ بودن است»—که بیشترِ جانوران را شامل می‌شود، اما رایانه‌ها را نه. جولیو تونونی و همکارانش نظریهٔ اطلاعاتِ یکپارچه را پیشنهاد می‌کنند (اوزومی و همکاران، 2014). داماسیو (1999) نظریه‌ای بر مبنای سه سطح دارد: هیجان، احساس، و احساسِ احساس. برایسون (2012) ارزشِ توجهِ آگاهانه را برای فرایندِ یادگیریِ انتخابِ کنش نشان می‌دهد. ادبیاتِ فلسفی دربارهٔ ذهن‌ها، مغزها و موضوعاتِ مرتبط بزرگ و پر از اصطلاحاتِ تخصصی است.
«دایرةالمعارفِ فلسفه» (ادواردز، 1967) ابزارِ ناوبریِ چشمگیراً معتبر و بسیار مفیدی است. «فرهنگِ لغتِ فلسفهِ کمبریج» (اودی، 1999) کوتاه‌تر و در دسترس‌تر است، و «دایرةالمعارفِ فلسفهٔ استنفورد» برخط مقاله‌های عالی و مرجع‌های به‌روزِ بسیاری ارائه می‌دهد. «دایرةالمعارفِ MIT علومِ شناختی» (ویلسون و کیل، 1999) فلسفه، زیست‌شناسی و روان‌شناسیِ ذهن را پوشش می‌دهد. مقدمه‌های متعددی برای «پرسشِ فلسفیِ هوش مصنوعی» هست (هاوگلند، 1985؛ بودن، 1990؛ کوپلند، 1993؛ مک‌کوردوک، 2004؛ مینسکی، 2007). «رفتار و علومِ مغزی» که به‌صورتِ BBS مخفف می‌شود، مجلهٔ مهمی است که به بحث‌های فلسفی و علمی دربارهٔ هوش مصنوعی و عصب‌شناسی اختصاص دارد.
نویسندهٔ علمی-تخیلیِ آیزاک آسیماف (1942, 1950) یکی از نخستین کسانی بود که به مسئلهٔ اخلاقِ ربات با «قوانینِ رباتیک»ش پرداخت:
در نگاهِ نخست، این قوانین معقول به نظر می‌رسند. اما ترفند نحوهٔ پیاده‌سازیِ آن‌هاست. آیا ربات باید به انسان اجازه دهد از خیابان رد شود، یا غذایِ ناسالم بخورد، اگر انسان به‌طورِ قابلِ‌تصوری ممکن است آسیب ببیند؟ در داستانِ آسیماف «دورِ گردان» (1942)، انسان‌ها باید رباتی را اشکال‌زدایی کنند که در حالِ پرسه‌زدن در دایره‌ای، «مست» رفتار می‌کند. آن‌ها درمی‌یابند دایره، مکانِ هندسیِ نقطه‌هایی است که در آن‌ها فرمانِ «برو آنجا»ی ربات با قانونِ دوم در تعارض است، و توضیح می‌دهند ربات هرگز نمی‌تواند از دایره خارج شود چون در هر نقطه‌ای که «برو آنجا» می‌گوید، قانونِ دوم او را مجبور می‌کند به جایِ اول برگردد، و در هر نقطه‌ای که «برگرد» می‌گوید، قانونِ دوم او را مجبور می‌کند به جلو برود.⁴ این داستان نشان می‌دهد قوانینِ ساده نمی‌توانند رفتارِ هوشمندانه را در موقعیت‌های پیچیده تضمین کنند.
سلاح‌های خودمختارِ کشنده: کتابِ «مسلح برای جنگ» از پی. دبلیو. سینگر (2009) مسائلِ اخلاقی، حقوقی و فنیِ پیرامونِ ربات‌ها در میدانِ نبرد را مطرح کرد. کتابِ «ارتشِ بی‌کس» از پل شاره (2018)، نوشته‌شده توسط یکی از نویسندگانِ سیاستِ کنونیِ ایالاتِ متحده دربارهٔ سلاح‌های خودمختار، دیدگاهی متوازن و موثق ارائه می‌دهد. اتزیونی و اتزیونی (2017b) به این پرسش می‌پردازند که آیا هوش مصنوعی باید تنظیم و قانون‌گذاری شود؛ آن‌ها وقفه‌ای در توسعهٔ سلاح‌های خودمختارِ کشنده و گفتگویی بین‌المللی دربارهٔ موضوعِ مقررات را توصیه می‌کنند.
حریمِ خصوصی: لاتانیا سوینی (2002b) مدلِ k-گمنامی و ایدهٔ تعمیمِ فیلدها را ارائه می‌دهد (سوینی، 2002a). دستیابی به k-گمنامی با حداقلِ اتلافِ داده مسئله‌ای NP-سخت است، اما بایاردو و آگراوال (2005) الگوریتمی تقریبی ارائه می‌دهند. سینتیا دورک (2008) حریمِ خصوصیِ تفاضلی را توصیف می‌کند، و در کارهای بعدی نمونه‌های عملی از شیوه‌های هوشمندانه برای اعمالِ حریمِ خصوصیِ تفاضلی ارائه می‌دهد تا نتایجی بهتر از رویکردِ ساده‌لوحانه به‌دست آید (دورک و همکاران، 2014). گو و همکاران (2019) فرایندی برای حذفِ گواهی‌شدهٔ داده توصیف می‌کنند: اگر مدلی را روی داده‌هایی آموزش دهید، و سپس درخواستی برای حذفِ بخشی از داده‌ها مطرح شود، این بسطِ حریمِ خصوصیِ تفاضلی به شما امکان می‌دهد مدل را اصلاح کنید و اثبات نمایید که از داده‌های حذف‌شده استفاده نمی‌کند. جی و همکاران (2014) مروری بر حوزهٔ حریمِ خصوصی ارائه می‌دهند. اتزیونی (2004) برای ایجادِ تعادل میانِ حریمِ خصوصی و امنیت، حقوقِ فردی و جامعه استدلال می‌کند. فونگ و همکاران (2018) و باگداساریان و همکاران (2018) حملاتِ گوناگون به پروتکل‌های یادگیریِ فدرال را بحث می‌کنند. نارایانان و همکاران (2011) توصیف می‌کنند چگونه توانستند با خزش در سایتی که داده‌ها از آن به‌دست آمده بود (فلیکر) و تطبیقِ گره‌های با درجهٔ ورودی یا خروجیِ به‌طورِ غیرعادی بالا میانِ داده‌های ارائه‌شده و داده‌های خزش‌شده، گرافِ پیوندِ مبهم‌شده را از چالشِ شبکهٔ اجتماعیِ 2011 ابهام‌زدایی کنند. این به آن‌ها اجازه داد اطلاعاتِ اضافی برای بردنِ چالش به‌دست آورند و همچنین هویتِ واقعیِ گره‌ها را در داده‌ها آشکار سازند. ابزارهایی برای حریمِ خصوصیِ کاربر در حالِ در دسترس قرار گرفتن هستند؛ برای نمونه، تنسورفلو مدول‌هایی برای یادگیریِ فدرال و حریمِ خصوصی فراهم می‌کند (مک‌ماهان و اندرو، 2018).
انصاف: کتابِ «سلاح‌های ریاضیاتِ مخرب» از کتی اونیل (2017) توصیف می‌کند که چگونه مدل‌های گوناگونِ جعبه‌سیاه یادگیریِ ماشینی بر زندگیِ ما تأثیر می‌گذارند، اغلب به شیوه‌هایی ناعادلانه. او از سازندگانِ مدل می‌خواهد مسئولیتِ انصاف را بپذیرند، و از سیاست‌گذاران می‌خواهد مقرراتِ مناسب وضع کنند. دورک و همکاران (2012) کاستی‌های رویکردِ ساده‌لوحانهٔ «انصاف از طریقِ ناآگاهی» را نشان دادند. بلامی و همکاران (2018) جعبه‌ابزاری برای کاهشِ اریب در سامانه‌های یادگیریِ ماشینی ارائه می‌دهند. ترامر و همکاران (2016) نشان می‌دهند چگونه هماورد می‌تواند مدلی از یادگیریِ ماشینی را با ارسالِ پرس‌وجوها به API «بدزدد». هارت و همکاران (2017) برابریِ فرصت را به‌عنوانِ معیاری برای انصاف توصیف می‌کنند. چولدکوا و راث (2018) مروری بر مرزهای دانشِ انصاف ارائه می‌دهند، و ورما و روبین (2018) پیمایشی جامع از تعاریفِ انصاف ارائه می‌کنند. کلاینبرگ و همکاران (2016) نشان می‌دهند که در حالتِ کلی، الگوریتم نمی‌تواند هم به‌خوبی کالیبره‌شده باشد و هم برابریِ فرصت داشته باشد. برک و همکاران (2017) چند تعریفِ اضافی از انواعِ انصاف ارائه می‌دهند و دوباره نتیجه می‌گیرند که برآورده‌کردنِ همهٔ جنبه‌ها به‌طورِ هم‌زمان ناممکن است. بویتل و همکاران (2019) توصیه‌هایی برای نحوهٔ عملی‌کردنِ معیارهای انصاف ارائه می‌دهند.
درسل و فرید (2018) دربارهٔ مدلِ امتیازدهیِ تکرارِ جرمِ COMPAS گزارش می‌دهند. کریستین و همکاران (2015) و اک‌هاوس و همکاران (2019) استفاده از الگوریتم‌های پیش‌بینانه در نظامِ قضایی را بحث می‌کنند. کوربت-دیویس و همکاران (2017) نشان می‌دهند که تنشی میانِ تضمینِ انصاف و بهینه‌سازیِ امنیتِ عمومی وجود دارد، و کوربت-دیویس و گوئل (2018) تفاوت‌های میانِ چارچوب‌های انصاف را بحث می‌کنند. چولدکوا (2017) از تأثیرِ منصفانه دفاع می‌کند: همهٔ رده‌ها باید مطلوبیتِ موردِ انتظارِ یکسانی داشته باشند. لیو و همکاران (2018a) از معیاری بلندمدت برای تأثیر دفاع می‌کنند و اشاره دارند که برای نمونه، اگر نقطهٔ تصمیم‌گیری برای تصویبِ وام را تغییر دهیم تا در کوتاه‌مدت منصفانه‌تر باشیم، این می‌تواند در بلندمدت اثری منفی بر افرادی بگذارد که در نهایت در بازپرداختِ وام نکول می‌کنند و بدین‌ترتیب امتیازِ اعتباری‌شان کاهش می‌یابد. از 2014 کنفرانسِ سالانه‌ای دربارهٔ «انصاف، پاسخگویی و شفافیت در یادگیریِ ماشینی» (FAT*) برگزار می‌شود. محرابی و همکاران (2019) مروری جامع بر اریب و انصاف در یادگیریِ ماشینی ارائه می‌دهند و ۲۳ نوعِ اریب و ۱۰ تعریفِ انصاف را فهرست‌بندی می‌کنند.
اعتماد: هوش مصنوعیِ تبیین‌پذیر موضوعِ مهمی بود که به روزهای اولیهٔ سامانه‌های خبره بازمی‌گردد (نچس و همکاران، 1985)، و در سال‌های اخیر دوباره ظهور کرده (بیران و کاتن، 2017؛ میلر و همکاران، 2017؛ کیم، 2018). بارنو و همکاران (2010) رده‌بندیِ انواعِ حملاتِ امنیتیِ قابلِ‌انجام بر سامانهٔ یادگیریِ ماشینی می‌دهند، و تایگار (2011) یادگیریِ ماشینیِ تخاصمی را مرور می‌کند. پژوهشگرانِ IBM پیشنهادی برای کسبِ اعتماد در سامانه‌های هوش مصنوعی از طریقِ اعلامیه‌های انطباق دارند (هیند و همکاران، 2018). DARPA برای سامانه‌های میدانِ نبردش تصمیم‌های تبیین‌پذیر ایجاب می‌کند، و فراخوانی برای پژوهش در این حوزه صادر کرده (گانینگ، 2016).
ایمنیِ هوش مصنوعی: کتابِ «ایمنی و امنیتِ هوش مصنوعی» (یامپولسکی، 2018) مقاله‌هایی دربارهٔ ایمنیِ هوش مصنوعی، هم تازه و هم کلاسیک، جمع می‌کند، که به «چرا آینده به ما نیاز ندارد»ی بیل جوی (2000) بازمی‌گردد. «مسئلهٔ شاهِ میداس» توسط ماروین مینسکی پیش‌بینی شده بود، که زمانی پیشنهاد کرد برنامهٔ هوش مصنوعیِ طراحی‌شده برای حلِ فرضیهٔ ریمان ممکن است در نهایت همهٔ منابعِ زمین را برای ساختنِ ابررایانه‌های قدرتمندتر تصاحب کند. به‌همین‌سان، اوموهوندر (2008) برنامهٔ شطرنجی را پیش‌بینی می‌کند که منابع را می‌رباید، و بسترم (2014) کارخانهٔ گیرهٔ کاغذِ از-کنترل‌خارج‌شده‌ای را توصیف می‌کند که جهان را تصاحب می‌کند. یودکوفسکی (2008) با جزئیاتِ بیشتری دربارهٔ نحوهٔ طراحیِ هوش مصنوعیِ دوستانه بحث می‌کند. آمودی و همکاران (2016) پنج مسئلهٔ عملیِ ایمنی برای سامانه‌های هوش مصنوعی ارائه می‌کنند. اوموهوندر (2008) «سوق‌های پایهٔ هوش مصنوعی» را توصیف می‌کند و نتیجه می‌گیرد «ساختارهای اجتماعی که باعث می‌شوند افراد هزینهٔ برون‌زایی‌های منفی‌شان را بپردازند، راهِ طولانی به سمتِ تضمینِ آینده‌ای پایدار و مثبت خواهد رفت.» «حکمرانیِ منابعِ مشترک»ی الینور اوستروم (1990) رویه‌هایی برای برخورد با برون‌زایی‌ها توسط فرهنگ‌های سنتی توصیف می‌کند. اوستروم همچنین این رویکرد را بر ایدهٔ دانش به‌عنوانِ منبعِ مشترک اعمال کرده (هس و اوستروم، 2007). نمونه‌های بازی با مشخصات در محیط‌های شبیه‌سازی‌شده (آمودی و همکاران، 2016) و بازی‌های ویدئویی (کلارک و آمودی، 2016) مستند شده‌اند.
آیندهٔ کار و اتوماسیون: بحثِ آیندهٔ کار با اتوماسیون سابقه‌ای طولانی دارد. کینز (1930) اصطلاحِ «بیکاریِ فناورانه» را ابداع کرد. برین‌یولفسون و مک‌آفی (2011, 2014) استدلال می‌کنند فناوری‌های دیجیتال و هوش مصنوعی موجِ تازه‌ای از اتوماسیون ایجاد می‌کنند که پیامدهای عمیقی برای اشتغال دارد. فرای و آزبرن (2017) برآورد می‌کنند ۴۷٪ از مشاغلِ آمریکا در معرضِ خودکارشدن‌اند. بسن (2015) استدلال می‌کند کارگران تا وقتی مهارت‌های لازم برای استفاده از فناوری‌های تازه را نیاموزند، از مزایای آن‌ها بهره‌مند نخواهند شد. مک‌کینزی گلوبال اینستیتوت (2017) برآورد می‌کند تا 2030 تا ۳۷۵ میلیون کارگر ممکن است نیاز به تغییرِ شغل داشته باشند. «درآمدِ پایهٔ همگانی» (UBI) به‌عنوانِ راه‌حلِ بالقوه‌ای برای توزیعِ مزایای اتوماسیون بحث شده (بانیارد و همکاران، 2019).
حقوقِ ربات‌ها: کتابِ ویراستهٔ یوریک ویلکس (2010) دیدگاه‌های متفاوتی دربارهٔ اینکه چگونه باید با همراهانِ مصنوعی برخورد کنیم می‌دهد، از دیدگاهِ جوانا برایسون که ربات‌ها باید به‌عنوانِ ابزار به ما خدمت کنند نه شهروند، تا مشاهدهٔ شری ترکل که ما از قبل رایانه‌ها و دیگر ابزارهایمان را جان‌بخشی می‌کنیم و کاملاً مایلیم مرزهای بینِ ماشین و زندگی را محو کنیم. ویلکس همچنین به‌روزرسانیِ اخیری از دیدگاه‌هایش ارائه کرده (ویلکس، 2019). فیلسوفِ دیوید گونکل در کتابِ «حقوقِ ربات» (2018) چهار امکان را بررسی می‌کند: آیا ربات‌ها می‌توانند حقوق داشته باشند یا نه، و آیا باید داشته باشند یا نه؟ «انجمنِ آمریکاییِ پیشگیری از ظلم به ربات‌ها» (ASPCR) اعلام می‌کند «ASPCR هست و خواهد بود، دقیقاً به همان اندازه که ربات‌ها احساس دارند جدی.»
آیندهٔ کار: در 1888، ادوارد بلامی پرفروش‌ترینِ «نگاه به عقب» را منتشر کرد، که پیش‌بینی می‌کرد تا سالِ 2000، پیشرفت‌های فناورانه به مدینهٔ فاضله‌ای می‌انجامد که برابری محقق می‌شود و مردم ساعت‌های کوتاه کار می‌کنند و زود بازنشسته می‌شوند. اندکی بعد، ای. ام. فورستر دیدگاهِ ویران‌شهری را در «ماشین می‌ایستد» (1909) گرفت، که در آن ماشینِ خیرخواهانه‌ای ادارهٔ جامعه را بر عهده می‌گیرد؛ وقتی ماشین ناگزیر از کار می‌افتد، همه‌چیز از هم می‌پاشد. کتابِ آینده‌نگرِ نوربرت وینر «استفادهٔ انسانی از انسان‌ها» (1950) برای مزایای اتوماسیون در رهاییِ مردم از کارِ طاقت‌فرسا در حالی که کارِ خلاق‌تری ارائه می‌دهد استدلال می‌کند، اما همچنین چند خطر را بحث می‌کند که امروزه آن‌ها را به‌عنوانِ مسئله می‌شناسیم، به‌ویژه مسئلهٔ همراستاییِ ارزش. کتابِ «اختلالِ بیکاری» (نوردفورس و همکاران، 2018) برخی از راه‌هایی را بحث می‌کند که کار در حالِ تغییر است و فرصت‌هایی برای مشاغلِ تازه باز می‌کند. اریک برین‌یولفسون و اندرو مک‌آفی این مضامین و بیشتر را در کتاب‌های «مسابقه با ماشین» (2011) و «عصرِ ماشینِ دوم» (2014) بررسی می‌کنند. فورد (2015) چالش‌های اتوماسیونِ فزاینده را توصیف می‌کند، و وست (2018) توصیه‌هایی برای کاهشِ مشکلات ارائه می‌کند، در حالی که توماس مالونِ MIT (2004) نشان می‌دهد بسیاری از همان مسائل یک دهه زودتر نیز آشکار بودند، اما در آن زمان به شبکه‌های ارتباطیِ جهانی نسبت داده می‌شدند، نه به اتوماسیون.
تکینگی: ایدهٔ تکینگی توسط گود (1965b) و وینگ (1993) رواج یافت. ری کورزویل (2005) اعلام کرد «تکینگی نزدیک است»، و یک دهه بعد موری شاناهان (2015) به‌روزرسانی‌ای دربارهٔ موضوع داد. هم‌بنیان‌گذارِ مایکروسافت، پل آلن، با «تکینگی نزدیک نیست» (2011) مقابله کرد. او امکانِ ماشین‌های فراهوشمند را رد نکرد؛ فقط فکر می‌کرد بیش از یک قرن طول می‌کشد تا به آنجا برسیم. راد بروکس منتقدِ مکررِ تکینگی‌گرایی است؛ اشاره می‌کند فناوری‌ها اغلب بیش از آنچه پیش‌بینی می‌شود طول می‌کشند تا بالغ شوند، ما مستعدِ تفکرِ جادویی‌ایم، و نمایی‌ها برای همیشه دوام نمی‌آورند (بروکس، 2017). از سوی دیگر، برای هر تکینگی‌گرایِ خوش‌بین، بدبینی هست که از فناوریِ تازه می‌ترسد. وب‌سایتِ pessimists.co نشان می‌دهد این در طولِ تاریخ صادق بوده: برای نمونه، در دههٔ 1890 مردم نگران بودند آسانسور ناگزیر حالتِ تهوع ایجاد کند، تلگراف به ازدست‌رفتنِ حریمِ خصوصی و فسادِ اخلاقی بینجامد، مترو هوایِ خطرناکِ زیرزمینی آزاد کند و مردگان را برنجاند، و دوچرخه—به‌ویژه ایدهٔ سواریِ زن بر آن—کارِ شیطان باشد. با این حال، برخی فناوری‌ها واقعاً خطرناک بوده‌اند و نیازمندِ مقرراتِ دقیق‌اند. هوش مصنوعی بدونِ شک در این رده قرار خواهد گرفت.
فراانسان‌گرایی: هانس موراوس (2000) برخی از ایده‌های فراانسان‌گرایی را معرفی می‌کند، و بسترم (2005) تاریخچهٔ به‌روزشده‌ای ارائه می‌دهد. ایدهٔ ماشینِ فراهوشمندِ گود صد سال زودتر در «داروین در میانِ ماشین‌ها»ی ساموئل باتلر (1863) پیش‌بینی شده بود. باتلر که چهار سال پس از انتشارِ «دربارهٔ خاستگاهِ گونه‌ها»ی چارلز داروین و در زمانی نوشت که پیچیده‌ترین ماشین‌ها موتورهای بخار بودند، «توسعهٔ نهاییِ آگاهیِ مکانیکی» را از طریقِ انتخابِ طبیعی تصور کرد. این مضمون توسط جورج دایسون (1998) در کتابی با همان عنوان تکرار شد، و توسط آلن تورینگ ارجاع شد، که در 1951 نوشت «در مرحله‌ای بنابراین باید انتظار داشت ماشین‌ها کنترل را به‌شیوه‌ای که در «اروون»ی ساموئل باتلر ذکر شده به دست بگیرند» (تورینگ، 1996).
¹ برای نمونه، اپرایِ کوپلیا (1870)، رمانِ «آیا آدم‌های مصنوعی رویایِ گوسفندِ برقی می‌بینند؟» (1968)، فیلم‌های AI (2001)، وال-ای (2008) و او (2013).
² از جملهِ دو نویسندهٔ همین کتاب.
³ در 2010، اگرچه فقط ۲٪ از نیرویِ کارِ آمریکا کشاورزِ واقعی بودند، بیش از ۲۵٪ از جمعیت (۸۰ میلیون نفر) دستِ‌کم یک بار بازیِ فارمویل را انجام دادند.
⁴ نویسندگانِ داستان‌های علمی-تخیلی به‌طورِ گسترده‌ای موافق‌اند ربات‌ها در حلِ موقعیت‌های مبهمِ اخلاقی بسیار بدند؛ علاوه بر داستانِ «دورِ گردان»، فیلم‌های «من، ربات» (2004) و «ای.آی.» (2001) همین موضوع را بررسی می‌کنند.