重要的想法是：我們應該擔心人工智能嗎？

人工智能的進步——據估計，在短短幾十年內——將引領超級智能、有知覺機器的發展。從《終結者》到《黑客帝國》的電影都將這一前景描繪得相當不理想。但這比另一部科幻小說《恐懼計劃》更重要嗎？

人工智能這個詞有兩種截然不同的用法，造成了一些混淆。從本質上講，第一種感覺是營銷：計算機軟件所做的任何看起來聰明或有效響應的事情——比如Siri——都被稱為使用“人工智能”。第二種感覺，第一種感覺借用了它的魅力，指向了一個還不存在的未來，即擁有超人智能的機器。這有時被稱為AGI，用于人工通用智能。

如果我們愿意，我們怎么從這里到達那里？現代人工智能采用機器學習（或深度學習）：我們不讓規則直接編程到機器中，而是讓它自己學習。就這樣，由英國Deepmind公司（現為谷歌的一部分）創建的國際象棋實體AlphaZero進行了數百萬場針對自己的訓練賽，然后擊敗了其頂級競爭對手。最近，Deepmind的AlphaFold 2被認為是“蛋白質折疊”生物學領域的一個重要里程碑，即預測分子結構的確切形狀，這可能有助于設計更好的藥物。

機器學習的工作原理是在大量數據上對機器進行訓練——圖像識別系統的圖片，或從互聯網上為生成半可信文章（如GPT2）的機器人采集的TB級散文。但數據集不僅僅是中立的信息存儲庫；他們經常以不可預見的方式對人類偏見進行編碼。最近，他們問Facebook上的“誰想看一個關于靈長類動物的視頻”的新聞。美國幾個州已經在使用所謂的“人工智能”來預測假釋候選人是否會再次犯罪，批評人士稱，這些算法訓練所依據的數據反映了警方的歷史偏見。

計算機化系統（如飛機自動駕駛儀）可能對人類有利，因此現有“人工智能”的缺陷本身并不是反對設計智能系統以幫助我們在醫療診斷等領域的原則的論點。更具挑戰性的社會學問題是，采用算法驅動的判斷是一種誘人的推卸責任的方式，因此，負責人——無論是法官、醫生還是科技企業家——都不會受到指責。機器人會承擔所有的工作嗎？正是這種框架推卸了責任，因為真正的問題是管理者是否會解雇所有人。

與此同時，存在的問題是：如果計算機最終獲得了某種上帝級的自我感知智能——這一點在Deepmind的使命宣言中有明確的規定，例如（“我們的長期目標是解決智能問題”并構建AGI）——它們是否仍然熱衷于服務？如果我們建造了如此強大的東西，我們最好相信它不會攻擊我們。對于那些嚴重關注這一問題的人來說，他們的觀點是，既然這是一個潛在的滅絕級問題，我們現在就應該投入資源來應對它。哲學家Nick Bostrom是牛津大學未來人類研究所的負責人，他說人類試圖建造人工智能就像“玩炸彈的孩子”一樣，機器感知的前景對人類的威脅比全球變暖更大。他的2014年著作《超級智能》具有開創性意義。它指出，一個真正的人工智能可能會秘密制造神經毒氣或納米機器人，以摧毀其劣質的肉類制造商?；蛘咚赡苤皇前盐覀冴P在一個行星動物園里，而不管它真正的業務是什么。

人工智能不必積極惡意地制造災難。博斯特羅姆著名的“回形針問題”就說明了這一點。假設你讓人工智能制作回形針。還有什么比這更無聊的呢？不幸的是，你忘了告訴它什么時候停止制作回形針。因此，它把地球上所有的物質都變成了回形針，首先禁用了它的關閉開關，因為讓它自己關閉會阻止它追求制造回形針的崇高目標。