【環(huán)球科技】

　　俄羅斯總統弗拉基米爾·普京早在2017年時(shí)就宣稱(chēng)，領(lǐng)導人工智能發(fā)展的國家將“成為世界的統治者”。這種觀(guān)點(diǎn)顯然在全球全面鋪開(kāi)，因為截至目前，已經(jīng)有十幾個(gè)國家宣布了本國的人工智能計劃。2017年，中國發(fā)布《新一代人工智能發(fā)展規劃》，制訂了“到2030年人工智能理論、技術(shù)與應用總體達到世界領(lǐng)先水平，成為世界主要人工智能創(chuàng )新中心，智能經(jīng)濟、智能社會(huì )取得明顯成效，為躋身創(chuàng )新型國家前列和經(jīng)濟強國奠定重要基礎”的目標。2019年早些時(shí)候，美國白宮發(fā)布了《美國人工智能計劃》，美國國防部推出了人工智能戰略。

　　科技發(fā)力，創(chuàng )新進(jìn)步固然是好事，然而近期，關(guān)于“人工智能軍備競賽”的新說(shuō)法則反映了一種對其危險性的錯誤認識，這有可能引發(fā)重大的新風(fēng)險。其實(shí)，對于每個(gè)國家來(lái)說(shuō)，真正的危險并非在人工智能的競爭方面落后于對手，而是企圖“競賽”的這種高壓態(tài)勢，反而會(huì )促使各國急于部署并不安全的人工智能系統。想要先發(fā)制人并贏(yíng)得勝利的各國，實(shí)際上面臨著(zhù)與對手國家一樣多的危險。

　　1.一場(chǎng)沒(méi)有人會(huì )獲勝的比賽

　　人工智能帶來(lái)從衛生保健到交通等全方位巨大的好處，還有巨大的風(fēng)險。這些風(fēng)險并不像科幻大片里演的那樣是機器人的崛起，真正的威脅來(lái)自于人類(lèi)自己。

　　目前，人工智能系統雖然功能強大但并不可靠。很多人工智能系統不僅在受到復雜的攻擊時(shí)會(huì )變得脆弱，而且在受訓的環(huán)境之外使用時(shí)常會(huì )失靈。政府確實(shí)是希望系統能平穩運行，但是“軍備競賽”的大環(huán)境卻讓一些人只顧得了眼前卻管不了將來(lái)。即使其他國家實(shí)際上并沒(méi)有實(shí)現人工智能系統的重大突破，但是認為他們的技術(shù)正在突飛猛進(jìn)的猜測，卻足以促使另外一些國家投身“競賽”。如果某國政府部署了未經(jīng)測試的人工智能武器系統或依靠有故障的人工智能系統來(lái)發(fā)起網(wǎng)絡(luò )攻擊，可能會(huì )對所有參與其中的人與國家造成災難性的后果。

　　各國政治家們應該從計算機網(wǎng)絡(luò )發(fā)展的歷史中進(jìn)行學(xué)習，從一開(kāi)始就將安全性作為人工智能設計的主要因素；還應該減少有關(guān)人工智能軍備競賽的言論，并尋求機會(huì )與其他國家合作研究降低人工智能風(fēng)險。歸根結底，人工智能軍備競賽是一場(chǎng)沒(méi)有人會(huì )獲勝的比賽。

　　最簡(jiǎn)單的人工智能系統通過(guò)遵循人類(lèi)預先設置的一系列規則來(lái)執行任務(wù)。雖然我們很難把飛機自動(dòng)駕駛儀或報稅軟件背后的技術(shù)視為人工智能，但這些眾所周知的“專(zhuān)家系統”已經(jīng)存在了幾十年，而且現在它們無(wú)處不在。過(guò)去的幾年中，數據收集、計算機處理能力和算法設計的飛速發(fā)展，研究人員通過(guò)更靈活的方法在人工智能方面取得了重大進(jìn)展：機器學(xué)習。

　　機器學(xué)習是指程序員無(wú)須編寫(xiě)規則，機器通過(guò)分析給定的數據來(lái)拾取它們。給算法提供數千張帶有對象標簽的照片，它將學(xué)習識別圖像中的圖案并與對象名稱(chēng)建立關(guān)聯(lián)。人工智能的繁榮始于2012年，研究人員依靠人工深度神經(jīng)網(wǎng)絡(luò )，在機器學(xué)習技術(shù)的“深度學(xué)習”方面取得了重要突破。人工神經(jīng)網(wǎng)絡(luò )是受生物神經(jīng)元啟發(fā)的一種智能技術(shù)，模擬生物神經(jīng)元通過(guò)發(fā)送和接收電脈沖與其他細胞進(jìn)行交流。人工神經(jīng)網(wǎng)絡(luò )最初就像是一片空白一無(wú)所知的領(lǐng)域，然后系統通過(guò)調整神經(jīng)元之間的連接強度，增強正確答案的路徑連接以及減弱錯誤答案路徑連接來(lái)進(jìn)行學(xué)習。深度神經(jīng)網(wǎng)絡(luò )——深度學(xué)習，是一個(gè)在輸入層和輸出層之間具有多層人工神經(jīng)元的神經(jīng)網(wǎng)絡(luò )，額外的神經(jīng)元層次允許不同路徑的強度具有更多可變性，從而幫助人工智能在更大范圍內應對各種情況。

　　2.幾乎無(wú)所不能的人工智能

　　系統如何精確學(xué)習取決于開(kāi)發(fā)人員選取哪種機器學(xué)習算法以及提供哪些數據。許多機器學(xué)習方法使用已標記的數據（稱(chēng)為“監督學(xué)習”），但是機器也可以從未標記的數據（“無(wú)監督學(xué)習”）或直接從環(huán)境中學(xué)習（“強化學(xué)習”），機器還可以根據計算機合成的數據進(jìn)行學(xué)習。Waymo是一家研發(fā)自動(dòng)駕駛汽車(chē)的公司，其研發(fā)的自動(dòng)駕駛汽車(chē)已經(jīng)在公共道路上行駛超過(guò)一千萬(wàn)英里，而該公司每天在計算機上模擬記錄行駛一千萬(wàn)英里，從而能夠利用數十億英里的合成數據來(lái)測試自動(dòng)駕駛汽車(chē)的算法。

　　自2012年深度學(xué)習取得重大突破以來(lái)，研究人員創(chuàng )造了媲美甚至超越人類(lèi)最佳表現的人工智能系統，這些系統能夠進(jìn)行面部識別、物體識別、語(yǔ)音轉錄以及玩復雜的游戲，包括中國圍棋和實(shí)時(shí)計算機游戲“星際爭霸”。深度學(xué)習也已經(jīng)超越舊的、基于規則的人工智能系統。2018年，一種深度學(xué)習算法在一臺大型超級計算機上用了四個(gè)小時(shí)與自己進(jìn)行了數百萬(wàn)次對弈，就擊敗了當時(shí)的國際象棋冠軍計算機程序，而無(wú)須任何人工訓練數據或手動(dòng)編碼規則來(lái)指導其行為。

　　研究人員現在將人工智能應用于改進(jìn)現實(shí)世界的問(wèn)題，從診斷皮膚癌到駕駛汽車(chē)再到提高能源效率等。根據麥肯錫咨詢(xún)公司的估計，美國人需要的付費服務(wù)，幾乎有一半可以使用現有人工智能技術(shù)實(shí)現自動(dòng)化（有5%的服務(wù)最終會(huì )被消滅）。大型機構在大數據上的積累和強大的計算能力，最有可能取得重大突破，使人工智能工具越來(lái)越普及�，F在，很多人工智能工具都可以任意在線(xiàn)使用，例如免費編程課程教人們如何制作自己的人工智能系統，并且可以免費下載經(jīng)過(guò)訓練的神經(jīng)網(wǎng)絡(luò )。人工智能工具的流行的確能夠促進(jìn)創(chuàng )新，但是將強大的人工智能工具輕易地交給任何想要的人，也會(huì )幫助到想要作惡的人。

　　濫用人工智能造成的危害并非假設，事實(shí)已經(jīng)擺在這里。聊天機器人之類(lèi)的僵尸程序通常用于操縱社交媒體，選擇性地放大某些消息并壓制其他消息。人工智慧換臉是由人工智能生成的偽造視頻，將人的臉部以數字方式完美地與色情演員的身體嫁接，用來(lái)實(shí)行所謂的“色情復仇攻擊”。

　　上述的例子僅僅是開(kāi)始。政治運動(dòng)使用基于人工智能的數據分析來(lái)針對個(gè)人設計量身定制的政治宣傳，商業(yè)公司也使用相同的分析來(lái)為潛在客戶(hù)專(zhuān)門(mén)發(fā)送感興趣的廣告。數字小偷使用人工智能工具來(lái)創(chuàng )建更有效的網(wǎng)絡(luò )釣魚(yú)攻擊，聊天機器人只需要一分鐘的音頻就可以克隆人的聲音，從而令人信服地在線(xiàn)或通過(guò)電話(huà)模擬人類(lèi)交談，任何沒(méi)有真人現身的網(wǎng)上或電話(huà)互動(dòng)都可能是詐騙行為。安全專(zhuān)家證明，網(wǎng)絡(luò )黑客完全有可能入侵自動(dòng)駕駛汽車(chē)，鎖定自動(dòng)車(chē)輛的轉向和剎車(chē)功能，僅靠一個(gè)人通過(guò)網(wǎng)上操作就可以劫持大量汽車(chē)，造成交通擁堵或發(fā)動(dòng)恐怖襲擊。

　　3.人工智能將何去何從

　　無(wú)論哪個(gè)國家在人工智能方面居于領(lǐng)先地位，都將利用它來(lái)獲取與競爭對手在經(jīng)濟和軍事上的相對優(yōu)勢。預計到2030年，人工智能將為全球經(jīng)濟做出13萬(wàn)億至15萬(wàn)億美元的貢獻。人工智能還將加快科學(xué)發(fā)展的進(jìn)程。2019年，人工神經(jīng)網(wǎng)絡(luò )在生物學(xué)研究的關(guān)鍵任務(wù)—合成蛋白折疊方面取得重要進(jìn)展，大幅領(lǐng)先現有的研究方法。

　　人工智能也將徹底改變戰爭。人工智能對于提高士兵在戰場(chǎng)上的態(tài)勢感知、指揮官的決策能力和命令傳達能力最為有效。人工智能系統處理信息的數量與速度都遠超人類(lèi)，它們是對戰爭中海量信息進(jìn)行實(shí)時(shí)評估的寶貴工具，而在戰場(chǎng)上，機器比人類(lèi)的移動(dòng)更快、更精確、更協(xié)調。在最近的“星際爭霸”電游人工智能對戰人類(lèi)比賽中，人工智能系統AlphaStar在快速處理海量信息、作戰單位協(xié)調以及快速精準移動(dòng)方面顯示了超越人類(lèi)的能力�，F實(shí)世界中，人工智能系統憑借上述優(yōu)勢在管理控制機器人群上比人類(lèi)手動(dòng)控制更加有效。人類(lèi)可以在更高層面的戰略中保留自己的優(yōu)勢，但人工智能將在地面戰爭中占據主導地位。

　　中國已經(jīng)是人工智能方面的全球強國，這也是華盛頓不甘落后急于開(kāi)發(fā)人工智能的原因。全球領(lǐng)先的人工智能公司排名，中國的科技巨頭阿里巴巴、百度和騰訊緊隨亞馬遜、谷歌與微軟其后。2018年注資最多的10家人工智能初創(chuàng )企業(yè)中有5家是中國企業(yè)。幾年前，中國提出到2030年成為全球人工智能領(lǐng)導者的目標似乎還是紙上談兵，現在則完全可能成為現實(shí)。

　　美國的現實(shí)情況是華盛頓和硅谷之間在軍事使用人工智能方面存在巨大分歧。谷歌與微軟的員工反對他們與五角大樓簽訂的公司合同，導致谷歌停止使用人工智能分析視頻素材的項目。由于政府與民間的分歧，哪怕美國在人工智能研發(fā)方面保持領(lǐng)先地位，也會(huì )失去軍事優(yōu)勢。政府合理的反應是將自己在人工智能上的投資加倍，然而問(wèn)題在于，人工智能技術(shù)是把雙刃劍，不僅會(huì )給輸掉比賽的一方帶來(lái)風(fēng)險，同樣也會(huì )給贏(yíng)得比賽的一方帶來(lái)風(fēng)險。

　　4.未可知的風(fēng)險與挑戰

　　當今的人工智能技術(shù)功能雖然強大但并不完全可靠�；�于規則的系統無(wú)法處理程序員未曾預見(jiàn)到的情況，學(xué)習系統也受到訓練數據的限制，人工智能的失敗已經(jīng)導致了一些悲劇發(fā)生。自動(dòng)駕駛汽車(chē)的先進(jìn)功能雖然在某些情況下表現良好，但無(wú)預警地將汽車(chē)撞向卡車(chē)、水泥路障以及停放著(zhù)的汽車(chē)的情況也時(shí)有發(fā)生。當出現與訓練場(chǎng)景不一樣的突發(fā)狀況，人工智能系統會(huì )瞬間從超級智能變?yōu)槌�級白癡。當敵人試圖操縱和入侵人工智能系統時(shí)，導致的風(fēng)險將更大。

　　雖然有時(shí)不會(huì )完全崩潰，但學(xué)習系統也會(huì )以錯誤的方式實(shí)現目標。去年的一篇研究論文中，有52位研究人員對人工智能系統表現出幾十次異常的行為進(jìn)行了闡述：學(xué)習在模擬環(huán)境中行走的算法發(fā)現，通過(guò)反復摔倒可以更快地移動(dòng)；一個(gè)玩俄羅斯方塊的機器人學(xué)會(huì )了在最后一塊積木掉下來(lái)之前暫停游戲，這樣它就永遠不會(huì )輸掉；一個(gè)程序自動(dòng)刪除了不能讓自己得到高分的評估文件。正如研究人員寫(xiě)道：“從功能實(shí)現角度來(lái)講，人工智能在迭代過(guò)程中尋找設計上的漏洞比實(shí)現人類(lèi)為其設定的預期目標要容易得多�！苯o人類(lèi)帶來(lái)驚喜或是驚嚇似乎是人工智能學(xué)習系統的標準特色。

　　機器學(xué)習系統的性能優(yōu)劣與其拾取的訓練數據密切相關(guān)，如果數據不能很好地反映系統的運行環(huán)境，則該系統在現實(shí)世界中就會(huì )發(fā)生故障。麻省理工學(xué)院媒體實(shí)驗室的研究人員2018年發(fā)現，三個(gè)主流的面部識別系統，在識別深色皮膚方面比識別淺膚色要差很多。

　　當機器學(xué)習系統出現失誤時(shí)，也會(huì )像人類(lèi)一樣沮喪并變得陰晴不定。即使研究人員并不一定每一次都能預測到機器的行為，對于基于規則的人工智能系統，研發(fā)者大體還是可以解釋機器的行為。然而對于深度學(xué)習系統，研究人員往往無(wú)法理解機器為什么要這樣做。谷歌公司的人工智能研究人員阿里·拉希米（Ali Rahimi）認為，中世紀的煉金術(shù)士雖然發(fā)現了現代玻璃制造技術(shù)，但并不了解這一突破背后的化學(xué)或物理原理，與此相似，現代正在研發(fā)機器學(xué)習的工程師們也能在人工智能上取得重大突破，但相應的基礎科學(xué)還沒(méi)有發(fā)展到能對此進(jìn)行解釋的程度，是技術(shù)走到了科學(xué)的前頭。

　　人工智能系統的每一次故障都會(huì )成為一個(gè)可以利用的漏洞。在某些情形下，攻擊者可以使訓練數據中毒。微軟公司在2016年創(chuàng )建了一個(gè)名為泰（Tay）的聊天機器人，并為其開(kāi)設了推特賬戶(hù)。當一些用戶(hù)對泰發(fā)布攻擊性的推文后，不到24小時(shí)泰就開(kāi)始鸚鵡學(xué)舌地模仿他們的種族主義和反猶太言論。這就是一個(gè)顯而易見(jiàn)的數據中毒的例子，但不是所有的數據中毒攻擊都如此明顯，有些潛伏在訓練數據中人類(lèi)無(wú)法檢測到，卻在暗中操縱機器的運作。

　　深度學(xué)習系統的創(chuàng )建者即使保護了數據源，攻擊者也可以通過(guò)提供精心定制的輸入—對抗性樣本—來(lái)欺騙系統讓機器犯錯誤。正常圖像的輕度變形，人類(lèi)可以一眼就看穿卻能夠糊弄人工智能。對衛星圖像分類(lèi)的神經(jīng)網(wǎng)絡(luò )系統會(huì )被對抗性樣本欺騙，把稍加變形的醫院圖片識別為軍事機場(chǎng)，反之亦可能。對抗性樣本甚至可以就是具體的物體。一個(gè)案例中，物體識別系統把龜殼上嵌有細微旋渦的塑料烏龜識別為步槍?zhuān)涣硪豁椦芯恐�，研究人員在停車(chē)標志前放置了幾個(gè)白色和黑色的小正方形，這些干擾讓神經(jīng)網(wǎng)絡(luò )系統將其辨識成每小時(shí)45英里的限速標志。更糟糕的是，入侵者根本無(wú)須訪(fǎng)問(wèn)訓練數據或他們試圖打敗的系統底層算法，就可以開(kāi)發(fā)出這類(lèi)欺騙性圖像和物體，因此研究人員也一直在努力尋找有效的防御手段來(lái)抵御這種威脅。此類(lèi)威脅與網(wǎng)絡(luò )安全漏洞不同，后者通�？梢栽诎l(fā)現漏洞后通過(guò)打補丁進(jìn)行修補，前者還沒(méi)有辦法可以針對攻擊對算法提前打預防針。

　　各國政府測試人工智能在軍事、網(wǎng)絡(luò )和監測方面已經(jīng)積累了豐富的經(jīng)驗，但還沒(méi)有一種測試方法可以保證復雜的系統一旦在現實(shí)世界中運行就不會(huì )出現故障。F-22戰斗機第一次穿越國際日期變更線(xiàn)時(shí)，計算機系統崩潰，飛機幾乎墜毀在太平洋。

　　測試人工智能系統比測試傳統軍事硬件設備要花費更多的時(shí)間和金錢(qián)。人工智能的復雜性賦予其更大的能力，也導致了更多難以預見(jiàn)的意外故障。假設某國政府研發(fā)出可以不知不覺(jué)入侵敵對國計算機網(wǎng)絡(luò )的人工智能系統，部署該系統的政府將獲得遠超敵對國的巨大優(yōu)勢。由于也擔心敵對國正在加緊開(kāi)發(fā)類(lèi)似的人工智能工具，政府會(huì )被迫縮短測試時(shí)間并盡早部署該系統。這種你追我趕的局面已經(jīng)在自動(dòng)駕駛汽車(chē)等行業(yè)形成風(fēng)氣，然而人工智能工具在國家安全領(lǐng)域造成事故的后果更加巨大。

　　政府醉心于強大但并不安全的技術(shù)，其實(shí)首開(kāi)先河的不是人工智能而是計算機。盡管計算機系統存在巨大漏洞，但仍在從股票交易到制導導彈的幾乎所有領(lǐng)域中發(fā)揮著(zhù)至關(guān)重要的作用。美國政府責任署調查員在2018年發(fā)現，美國武器系統存在許多網(wǎng)絡(luò )安全漏洞，通過(guò)“相對簡(jiǎn)單的工具和技術(shù)”就可以利用這些漏洞。更糟糕的是，國防部的項目主管居然不知道問(wèn)題所在，并對責任署的發(fā)現不予理睬，還宣稱(chēng)其測試不切實(shí)際。計算機安全漏洞不僅限于政府運行的系統，很多大公司也相繼遭受重大數據泄露，因此現在再提數字安全性已經(jīng)是馬后炮的做法。然而人工智能系統遍布全球不僅僅是一種可能，而是默認設置，人工智能安全性更是一個(gè)迫在眉睫的世界性問(wèn)題。

　　5.人工智能發(fā)展需要全球合作和安全第一

　　人工智能的威脅如此緊急，全球需要進(jìn)行緊急響應。政治家們應對人工智能危害最重要的防御方法之一就是增加人工智能安全研究的資金投入。私營(yíng)公司花費數十億美元研發(fā)人工智能在商業(yè)方面的應用，各國政府更應該在該領(lǐng)域發(fā)展之初就加大基礎性研究上的投入。美國國防高級研究計劃署正在執行“下一代人工智能創(chuàng )新”項目，計劃在未來(lái)5年內耗資20億美元解決弱人工智能系統局限性問(wèn)題（譯者注：弱人工智能是指在人為規定的框架內，可以按照人類(lèi)做出的決定，獨立執行某些精確任務(wù)，但不具備意識）。在此基礎上，作為美國人工智能創(chuàng )新規劃的一部分，白宮會(huì )相應追加人工智能安全性研究的資金，并要求國會(huì )對人工智能安全性的研發(fā)提供更多預算。

　　將人工智能應用于國家安全方面，政府機構需要重新審視一直以來(lái)測試新系統的傳統方法，僅僅驗證系統是否符合設計規格還遠遠不夠。測試人員還需要確保當面臨現實(shí)世界敵對入侵威脅時(shí)，系統還能夠繼續正常運行。在某些情況下，測試人員可以參考自動(dòng)駕駛汽車(chē)制造商的做法，使用計算機模擬來(lái)梳理錯誤漏洞。另外國防部和情報界還應建立“紅色軍團”—充當攻擊者以測試系統的防御能力—來(lái)搜索人工智能系統中的安全隱患，這樣開(kāi)發(fā)人員可以在系統上線(xiàn)之前進(jìn)行修復。

　　政府官員還要淡化有關(guān)人工智能軍備競賽的言論，這些話(huà)語(yǔ)很可能成為自我實(shí)現的預言。五角大樓首席研究員、工程師邁克爾·格里芬2018年在一次會(huì )議上說(shuō)：“可能會(huì )有一場(chǎng)人工智能軍備競賽，但我們還沒(méi)有參加�！泵绹�軍方肯定會(huì )用到人工智能，但是格里芬的聲明既沒(méi)有提到更沒(méi)有意識到隨之而來(lái)的風(fēng)險。政府官員過(guò)多地談?wù)撥妭涓傎�，只可能鼓勵競爭對手追求速度而降低安全性，因此他們不僅要強調人工智能的價(jià)值，還要強調可靠性和安全性。

　　最后，為確保人工智能的安全性，美國應該尋求與其他國家（哪怕是對手）合作的方式。在新技術(shù)方面的國際合作有好有壞的先例，各國有時(shí)也能成功合作避免相互傷害。冷戰期間，美國與蘇聯(lián)共同合作，限制了雙方都認為特別不穩定的某些類(lèi)型的核彈頭運載系統。美國還鼓勵其他國家采取安全措施，防止未經(jīng)授權使用核武器。今天美國要與盟國和對手共同努力，增加研究人工智能安全的國際投資。美國還應該與中國和俄羅斯開(kāi)始討論，人工智能的某些應用是否會(huì )帶來(lái)可怕的風(fēng)險升級或失控，以及各國如何共同采取措施來(lái)改善安全性。在人工智能軍備競賽中，美國面臨的最大危險不是輸球，而是出現一個(gè)滿(mǎn)盤(pán)皆輸的世界。

　　19世紀的工業(yè)化帶來(lái)了巨大的經(jīng)濟增長(cháng)，但同時(shí)也為軍隊制造出坦克、機槍和芥子氣等殺人武器。核武器的發(fā)明帶來(lái)了更大的危險，決策者們仍在為之角力。計算機徹底改變了人們的工作、學(xué)習和交流方式，但同時(shí)也使以前相對獨立的系統更容易受到網(wǎng)絡(luò )攻擊。

　　人工智能隨著(zhù)時(shí)代應運而生，產(chǎn)生的絕大多數影響都是積極的。人工智能會(huì )促進(jìn)經(jīng)濟增長(cháng)、診斷和治療疾病、減少交通事故并全方位地改善人們的生活。但正如任何新技術(shù)一樣，人工智能也有暗黑的一面。勇敢直面風(fēng)險才能實(shí)現人類(lèi)創(chuàng )造人工智能改善生活的初衷，否則只會(huì )帶來(lái)無(wú)盡的危險。

　　（作者：保羅·斯查瑞，系新美國安全中心高級研究員兼技術(shù)與國家安全項目主任，專(zhuān)著(zhù)《無(wú)人軍團：自動(dòng)武器與戰爭的未來(lái)》的作者；編譯者杜珩系四川省社會(huì )科學(xué)院管理學(xué)所副研究員。原文刊登于美國《外交事務(wù)》雜志2019年5/6月刊。）