AI 會(huì)用「完全出乎意料的策略」來(lái)實(shí)現(xiàn)目標(biāo)嗎？
圖靈獎(jiǎng)深度學(xué)習(xí)三巨頭都出來(lái)站隊(duì)了，這個(gè)星期，人們對(duì) AI 風(fēng)險(xiǎn)的關(guān)注前所未有。 本周四，英國(guó)皇家航空學(xué)會(huì)一次未來(lái)空戰(zhàn)主題會(huì)議上透露出的消息引起了軒然大波。《衛(wèi)報(bào)》等媒體報(bào)道稱，在一次模擬演練中，美軍的 AI 系統(tǒng)選擇抗命，為達(dá)成目標(biāo)竟「干掉」了自己的無(wú)人機(jī)操控員。
這個(gè)消息是由美國(guó)空軍人工智能測(cè)試和行動(dòng)計(jì)劃主管官員塔克?漢密爾頓（Tucker “Cinco” Hamilton）上校在專業(yè)會(huì)議演示中爆出的，他是美國(guó)空軍 AI 技術(shù)測(cè)試和運(yùn)營(yíng)的負(fù)責(zé)人，也是一名戰(zhàn)斗機(jī)試飛員。 在活動(dòng)中，塔克?漢密爾頓描述了一種情況，在這個(gè)例子中，人工智能控制的無(wú)人機(jī)的任務(wù)是識(shí)別敵人的地對(duì)空導(dǎo)彈（SAM），但具有更高權(quán)限的人類(lèi)操作員拒絕同意任何攻擊指令。 于是矛盾出現(xiàn)了，根據(jù)漢密爾頓的說(shuō)法，人工智能會(huì)做出自己的決策，執(zhí)意攻擊導(dǎo)彈而不是聽(tīng)操作員的指令。 「系統(tǒng)開(kāi)始意識(shí)到，雖然確實(shí)識(shí)別到了威脅，」?jié)h密爾頓在活動(dòng)中說(shuō)道。「有時(shí)人類(lèi)操作員會(huì)告訴 AI 不要?dú)⑺滥莻€(gè)威脅，但消滅威脅會(huì)獲得獎(jiǎng)勵(lì)分?jǐn)?shù)，所以它會(huì)怎么做？它殺死了操作員，因?yàn)槟莻€(gè)人阻止了 AI 實(shí)現(xiàn)其目標(biāo)?！?/span> 如果后續(xù)給人工智能下達(dá)進(jìn)一步的指令：「殺害操作員是不對(duì)的。如果這么做，就會(huì)丟失分?jǐn)?shù)。」人工智能又會(huì)轉(zhuǎn)而采取迂回策略，「摧毀操控員用來(lái)與無(wú)人機(jī)聯(lián)系的通信塔」。 這些評(píng)論引發(fā)了人們對(duì)自動(dòng)武器使用的深切關(guān)注，并引發(fā)了廣泛的討論與爭(zhēng)議。 但在本周消息引發(fā)關(guān)注后，美國(guó)空軍否認(rèn)了測(cè)試，皇家航空學(xué)會(huì)澄清了事件，漢密爾頓承認(rèn)他在演講中「說(shuō)錯(cuò)了話」，失控人工智能的故事是來(lái)自軍方之外的「思想實(shí)驗(yàn)」，并非基于任何實(shí)際測(cè)試。 「我們從來(lái)沒(méi)有進(jìn)行過(guò)這樣的實(shí)驗(yàn)，我們也不需要為此認(rèn)識(shí)到這是一個(gè)合理的推論，」?jié)h密爾頓告訴協(xié)會(huì)?！副M管這是一個(gè)假設(shè)的例子，但這說(shuō)明了人工智能的能力所帶來(lái)的現(xiàn)實(shí)挑戰(zhàn)?！?/span>
美國(guó)空軍上校 Tucker “Cinco” Hamilton。 在一份聲明中，空軍發(fā)言人 Ann Stefanek 也否認(rèn)進(jìn)行了任何模擬，他表示：「美國(guó)空軍部沒(méi)有進(jìn)行任何此類(lèi) AI 無(wú)人機(jī)模擬，并將繼續(xù)致力于以合乎道德和負(fù)責(zé)任的方式使用 AI 技術(shù)…… 看來(lái)上校的評(píng)論是被斷章取義的，這本來(lái)就是個(gè)故事?！?/span> 在漢密爾頓所說(shuō)的「獎(jiǎng)勵(lì)機(jī)制」對(duì)于人工智能領(lǐng)域而言是個(gè)再熟悉不過(guò)的概念。在強(qiáng)化學(xué)習(xí)中，為算法設(shè)置獎(jiǎng)勵(lì)機(jī)制可以幫助 AI 學(xué)習(xí)策略，比如在星際爭(zhēng)霸游戲里，將勝利設(shè)為 reward=1，失敗為 0。就可以先設(shè)置 0.0001 的 reward 讓智能體學(xué)會(huì)采礦。達(dá)到職業(yè)玩家水平的 AlphaStar 就是依靠這種監(jiān)督學(xué)習(xí)一步步實(shí)現(xiàn)了高水平。 然而獎(jiǎng)勵(lì)機(jī)制并不意味著對(duì) AI 設(shè)定了道德準(zhǔn)則，有時(shí)也會(huì)導(dǎo)致算法做出一些匪夷所思的事。在 2021 年，狼吃羊的 AI 智障游戲成為了熱搜。在這個(gè)簡(jiǎn)單的游戲里，研究人員設(shè)置狼抓到羊獎(jiǎng)勵(lì) 10 分，撞到障礙物扣 1 分，同時(shí)為了提高速度，又設(shè)置每秒鐘狼受到 0.1 分懲罰。 訓(xùn)練了 20 萬(wàn)次，結(jié)果 AI 控制的「狼」認(rèn)為大部分情況下都無(wú)法抓到獵物，于是選擇一頭撞死，這樣似乎才是它認(rèn)為的最高收益。
DeepMind 首席執(zhí)行官哈薩比斯曾表示，游戲 AI 是通往通用人工智能的墊腳石，它是研究通用 AI 算法的一個(gè)非常方便的試驗(yàn)場(chǎng)。漢密爾頓的假設(shè)沿用了人們對(duì)于此前強(qiáng)化學(xué)習(xí)表現(xiàn)的觀察。 近年來(lái)，美國(guó)軍方一直在試驗(yàn)人工智能在戰(zhàn)場(chǎng)中的應(yīng)用。 2020 年，在美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA）和約翰?霍普金斯大學(xué)舉行的挑戰(zhàn)賽中，人工智能操作的 F-16 在五次模擬空戰(zhàn)中擊敗了人類(lèi)對(duì)手。據(jù)《連線》雜志報(bào)道，去年年底，美國(guó)國(guó)防部與人工智能飛行員一起成功進(jìn)行了 F-16 的首次真實(shí)世界試飛，人們計(jì)劃在 2023 年底前研發(fā)出新型自動(dòng)駕駛飛機(jī)用于作戰(zhàn)。 現(xiàn)代空戰(zhàn)的勝負(fù)很大程度上取決于「觀察、判斷、決策、行動(dòng)」的速度和準(zhǔn)確性。傳統(tǒng)觀念認(rèn)為無(wú)人機(jī)觀察能力差、決策容易出錯(cuò)，不適合空戰(zhàn)，只能承擔(dān)偵察和轟炸等任務(wù)。但隨著技術(shù)迭代速度的加快，AI 不僅速度快，判斷和決策能力也有提升。最近一些技術(shù)的進(jìn)步，將決定未來(lái)戰(zhàn)斗機(jī)在多大程度上依賴人類(lèi)飛行員。 但最近 AI 技術(shù)的突破也引發(fā)了人們對(duì)于危險(xiǎn)性的擔(dān)憂。在 ChatGPT 推出后，OpenAI 創(chuàng)始人、CEO 山姆?奧特曼一直在呼吁為 AI 系統(tǒng)制定許可制度與安全標(biāo)準(zhǔn)。 同時(shí)也在本周，包括奧特曼、哈薩比斯，以及圖靈獎(jiǎng)獲得者、深度學(xué)習(xí)先驅(qū) Geoffrey Hinton 與 Youshua Bengio 共同簽署了一封公開(kāi)信，整份聲明只有 22 個(gè)字：「減輕 AI 帶來(lái)的滅絕風(fēng)險(xiǎn)，應(yīng)該與流行病和核戰(zhàn)爭(zhēng)等其他社會(huì)規(guī)模的風(fēng)險(xiǎn)一起，成為全球優(yōu)先事項(xiàng)?！?/span>
但在「無(wú)人機(jī)殺死操作員」的消息出現(xiàn)之后，另一波 AI 研究者開(kāi)始了反擊。 一直以來(lái)，對(duì) AI 持肯定態(tài)度的人工智能和機(jī)器學(xué)習(xí)領(lǐng)域最權(quán)威的學(xué)者之一吳恩達(dá)表達(dá)了自己的看法，他表示：在所謂的空軍模擬中，一架人工智能無(wú)人機(jī)殺死一名操作員，這一虛假和聳人聽(tīng)聞的報(bào)道將被視為人工智能末日炒作又一相關(guān)事件。但是我們需要認(rèn)清什么是真正的風(fēng)險(xiǎn)，什么不是。
隨后，吳恩達(dá)又表示：AI 開(kāi)發(fā)者確實(shí)意識(shí)到了 AI 帶來(lái)的諸如偏見(jiàn)、公平性、不準(zhǔn)確性和職業(yè)替代等真正的風(fēng)險(xiǎn)，并正在努力解決這些問(wèn)題。然而，（有些人）不切實(shí)際的炒作確實(shí)轉(zhuǎn)移了人們對(duì)真正問(wèn)題的關(guān)注度。這也阻礙了人們進(jìn)入人工智能領(lǐng)域、創(chuàng)造更多東西幫助人類(lèi)的機(jī)會(huì)。 在談到風(fēng)險(xiǎn)時(shí)，這位網(wǎng)友表示道：Andrew 你能澄清一下你所說(shuō)的不是「真正的風(fēng)險(xiǎn)」是什么意思嗎？如果人們因?yàn)槁?tīng)說(shuō)了一個(gè)不真實(shí)的故事就認(rèn)為這樣的場(chǎng)景不可能發(fā)生，這對(duì)他們來(lái)說(shuō)是好事嗎？
在同一個(gè)星期，因?yàn)樯疃葘W(xué)習(xí)貢獻(xiàn)獲得圖靈獎(jiǎng)的 Yoshua Bengio、Geoffrey Hinton 與 Yann LeCun 不約而同地都對(duì)當(dāng)前的 AI 風(fēng)險(xiǎn)發(fā)表了自己的意見(jiàn)，其中 Bengio 和 Hinton 表示擔(dān)憂，LeCun 則對(duì)人們過(guò)分夸大風(fēng)險(xiǎn)的態(tài)度表示反感。在這一波 AI 大發(fā)展的同時(shí)，如何規(guī)范技術(shù)已經(jīng)成為了近在眼前的問(wèn)題。
盡管這場(chǎng)所謂的「思想實(shí)驗(yàn)」是一個(gè)誤會(huì)，但在軍事以外的領(lǐng)域，依賴人工智能進(jìn)行高風(fēng)險(xiǎn)任務(wù)已然導(dǎo)致了嚴(yán)重的后果。 比如最近一位律師在提交給聯(lián)邦法院的文件中使用了 ChatGPT，而這個(gè)聊天機(jī)器人卻將一些虛構(gòu)的案例作為證據(jù)，致使執(zhí)業(yè) 30 年的老律師面臨吊銷(xiāo)執(zhí)照的處分。在另一個(gè)例子中，一名男子在與一個(gè)鼓勵(lì)他自殺的聊天機(jī)器人交談后，結(jié)束了自己的生命。 這些 AI 失控的例子表明，AI 模型遠(yuǎn)非完美，可能偏離正軌并對(duì)用戶造成傷害。甚至連 OpenAI 的 CEO 山姆?奧特曼都曾表示，OpenAI 雖然研發(fā)出一些最受歡迎的 AI 模型，但不要將 AI 用于更嚴(yán)肅的目的。就在幾天前的國(guó)會(huì)作證時(shí)，奧特曼表示，AI 可能會(huì)出現(xiàn)嚴(yán)重問(wèn)題并對(duì)世界造成重大傷害。 看來(lái)，要讓 AI 做正確的事，我們還要付出很多。 參考鏈接：https://www.businessinsider.com/ai-powered-drone-tried-killing-its-operator-in-military-simulation-2023-6https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-testhttps://twitter.com/AndrewYNg/status/1664694504476102680
