2023 年 2 月 13 日 AAAI SafeAI 研討會(huì)上，加州大學(xué)伯克利分校教授 Stuart Russell 和北京通用人工智能研究院(BIGAI)朱松純教授針對(duì) “通用人工智能、人工智能安全” 等問題進(jìn)行了一場精彩對(duì)話，本場對(duì)話由加州大學(xué)伯克利分校人類兼容人工智能中心（CHAI）執(zhí)行主任 Mark Nitzberg 博士主持。
Mark Nitzberg：今天我們很榮幸邀請(qǐng)到兩位人工智能的頂級(jí)專家來參與本次 SafeAI 研討會(huì)。
他們分別是：Stuart Russell，加州大學(xué)伯克利分校計(jì)算機(jī)科家，類兼容人工智能中心（CHAI）主任，人工智能研究實(shí)驗(yàn)室指導(dǎo)委員會(huì)（BAIR）成員。世界經(jīng)濟(jì)論壇人工智能和機(jī)器人委員會(huì)副主席，AAAS Fellow，AAAI Fellow。
朱松純，北京通用人工智能研究院院長，北京大學(xué)講席教授，北京大學(xué)智能學(xué)院、人工智能研究院院長，清華大學(xué)基礎(chǔ)科學(xué)講席教授。
Mark Nitzberg：什么是 '通用人工智能'？是否有一個(gè)定義明確的測試可以確定我們何時(shí)創(chuàng)造了它？
Stuart Russell：通用人工智能被描述為可以完成人類能夠完成的所有任務(wù)，但這只是一個(gè)大概的說法。我們希望通用人工智能能夠做到人類無法做到的事情，例如匯總所有知識(shí)或者模擬復(fù)雜的粒子相互作用等等。
為了研究通用人工智能，我們可以從具體任務(wù)的基準(zhǔn) (Benchmarks) 轉(zhuǎn)向任務(wù)環(huán)境的一般屬性，比如部分可觀察性、長時(shí)程、不可預(yù)測性等等，并問自己是否有能力為這些屬性提供完整的解決方案。如果我們有這種能力，通用人工智能就應(yīng)該能夠自動(dòng)地完成人類可以完成的任務(wù)，并且還有能力完成更多的任務(wù)。雖然有一些測試 (比如 BigBench) 聲稱可以測試通用性，但它們并沒有包含那些人工智能系統(tǒng)無法接近的任務(wù)，例如 “你能發(fā)明一個(gè)引力波的探測器嗎？”
朱松純：幾年前，很多人認(rèn)為實(shí)現(xiàn)通用人工智能是一個(gè)遙不可及的目標(biāo)，然而最近 ChatGPT 的火爆讓大家又充滿了期待，覺得通用人工智能似乎觸手可及了。我在中國組建北京通用人工智能研究院 (BIGAI) 這一新型研發(fā)機(jī)構(gòu)時(shí)，特別決定將 AGI 作為機(jī)構(gòu)名稱的一部分，以區(qū)別于專用的人工智能。通院的 “通” 字正是由 “A”“G”“I” 三個(gè)字母組成。根據(jù)“通”字發(fā)音，我們也把通用人工智能稱作TongAI。
通用人工智能是人工智能研究的初心和終極目標(biāo)。目標(biāo)是實(shí)現(xiàn)具有自主的感知、認(rèn)知、決策、學(xué)習(xí)、執(zhí)行和社會(huì)協(xié)作能力，符合人類情感、倫理與道德觀念的通用智能體。然而，在過去的 20-30 年中，人們用海量的分門別類的數(shù)據(jù)來一個(gè)個(gè)解決人臉識(shí)別、目標(biāo)檢測、文本翻譯等任務(wù)，這帶來了一個(gè)問題，那就是完成多少任務(wù)才算是通用？
我認(rèn)為實(shí)現(xiàn)通用人工智能需要滿足三個(gè)關(guān)鍵要求。1）通用智能體能夠處理無限任務(wù)，包括那些在復(fù)雜動(dòng)態(tài)的物理和社會(huì)環(huán)境中沒有預(yù)先定義的任務(wù)；2）通用智能體應(yīng)該是自主的，也就是說，它應(yīng)該能夠像人類一樣自己產(chǎn)生并完成任務(wù)；3）通用智能體應(yīng)該具有一個(gè)價(jià)值系統(tǒng)，因?yàn)樗哪繕?biāo)是由價(jià)值定義的。智能系統(tǒng)是由具有價(jià)值系統(tǒng)的認(rèn)知架構(gòu)所驅(qū)動(dòng)的。
Mark Nitzberg：你們認(rèn)為大型語言模型（LLMs）以及其他基礎(chǔ)型能夠?qū)崿F(xiàn)通用人工智能嗎？斯坦福大學(xué)教授最近撰寫的一篇論文聲稱，語言模型可能具有與 9 歲兒童相當(dāng)?shù)男睦頎顟B(tài)。你們對(duì)這種說法有什么看法？
朱松純：雖然大型語言模型已經(jīng)取得了一些驚人的進(jìn)展，但如果我們比較上述三個(gè)標(biāo)準(zhǔn)，就會(huì)發(fā)現(xiàn)大型語言模型還不符合通用人工智能的要求。
1） 大型語言模型在處理任務(wù)方面的能力有限，它們只能處理文本領(lǐng)域的任務(wù)，無法與物理和社會(huì)環(huán)境進(jìn)行互動(dòng)。這意味著像 ChatGPT 這樣的模型不能真正 “理解” 語言的含義，因?yàn)樗鼈儧]有身體來體驗(yàn)物理空間。中國的哲學(xué)家早就認(rèn)識(shí)到 “知行合一” 的理念，即人對(duì)世界的 “知” 是建立在 “行” 的基礎(chǔ)上的。這也是通用智能體能否真正進(jìn)入物理場景和人類社會(huì)的關(guān)鍵所在。只有將人工智能體放置于真實(shí)的物理世界和人類社會(huì)中，它們才能切實(shí)了解并習(xí)得真實(shí)世界中事物之間的物理關(guān)系和不同智能體之間的社會(huì)關(guān)系，從而做到 “知行合一”。
2） 大型語言模型也不是自主的，它們需要人類來具體定義好每一個(gè)任務(wù)，就像一只 '巨鸚鵡'，只能模仿被訓(xùn)練過的話語。真正自主的智能應(yīng)該類似于 “烏鴉智能”，烏鴉能夠自主完成比現(xiàn)如今的 AI 更加智能的任務(wù)，當(dāng)下的 AI 系統(tǒng)還不具備這種潛能。
3） 雖然 ChatGPT 已經(jīng)在不同的文本數(shù)據(jù)語料庫上進(jìn)行了大規(guī)模訓(xùn)練，包括隱含人類價(jià)值觀的文本，但它并不具備理解人類價(jià)值或與人類價(jià)值保持一致的能力，即缺乏所謂的道德指南針。
關(guān)于論文發(fā)現(xiàn)語言模型可能具有與 9 歲兒童相當(dāng)?shù)男睦頎顟B(tài)這件事，我認(rèn)為這有些夸大其詞了，這篇論文通過一些實(shí)驗(yàn)測試發(fā)現(xiàn)，GPT-3.5 可以正確回答 93% 的問題，相當(dāng)于 9 歲兒童水平。但是，如果一些基于規(guī)則的機(jī)器也可以通過類似的測試，那我們可以說這些機(jī)器就有心智理論了嗎？即使 GPT 能夠通過這個(gè)測試，也只是體現(xiàn)了它具備通過這個(gè)心智理論測試的能力，并不能說明它具有心智理論，同時(shí)我們也要反思：用這些傳統(tǒng)測試任務(wù)來驗(yàn)證機(jī)器是否發(fā)展出心智理論的做法是否嚴(yán)謹(jǐn)合法？為何機(jī)器可以不用心智理論就能完成這些任務(wù)？
Stuart Russell：在 1948 年的一篇論文中，圖靈提出了從一個(gè)巨大的查找表中生成智能為的問題。這并不實(shí)際，因?yàn)槿绻?2000 個(gè)單詞，就需要一個(gè)包含約 10^10000 個(gè)條目的表來存儲(chǔ)所有的可能序列，就像利用 transformer 的大型語言模型的窗口大小一樣。這樣的系統(tǒng)可能看起來非常聰明，但實(shí)際上它缺乏心理狀態(tài)和推理過程（經(jīng)典人工智能系統(tǒng)的基本意義）。
實(shí)際上，并沒有證據(jù)表明 ChatGPT 擁有任何心理狀態(tài)，更不用說類似于 9 歲孩子的心理狀態(tài)了。LLMs 缺乏學(xué)習(xí)和表達(dá)復(fù)雜概括的能力，這就是為什么它們需要大量的文本數(shù)據(jù)，遠(yuǎn)遠(yuǎn)超過任何 9 歲孩子所能接受的范圍，而且它們?nèi)匀粫?huì)產(chǎn)生錯(cuò)誤。這就好像一個(gè)下棋程序，通過識(shí)別以前大師級(jí)比賽中的相似棋步序列（如 d4、c6、Nc3 等），然后輸出該序列中的下一步棋。盡管大多數(shù)情況下你會(huì)認(rèn)為它是一個(gè)大師級(jí)的棋手，但是它會(huì)偶爾下出違規(guī)的棋步，因?yàn)樗⒉恢榔灞P和棋子，也不知道目標(biāo)是把對(duì)手將死。
在某種程度上，ChatGPT 在每個(gè)領(lǐng)域都是如此。我們不確定是否有任何領(lǐng)域是它真正理解的。一些錯(cuò)誤可能會(huì)被修正，但這就像修正對(duì)數(shù)函數(shù)值表中的錯(cuò)誤一樣。如果一個(gè)人只理解 'log' 是指 '第 17 頁表格中的數(shù)值'，那么修正錯(cuò)別字并不能解決這個(gè)問題。這張表還沒有涵蓋 '對(duì)數(shù)' 的含義和定義，因此它根本無法推斷。用更多的數(shù)據(jù)擴(kuò)大表的規(guī)模并不能解決這個(gè)問題的根本。
Mark Nitzberg：Stuart，你是最早警告我們通用人工智能給人生存帶來風(fēng)險(xiǎn)的人之一，認(rèn)為它像核能源。為什么你會(huì)這樣認(rèn)為？我們?cè)鯓硬拍芊乐惯@種情況？松純，你最關(guān)心的來自人工智能的風(fēng)險(xiǎn)是什么？
Stuart Russell：事實(shí)上，圖靈是最早提出警告的人之一。他在 1951 年說道：“一旦機(jī)器開始思考，很快就能超越我們。因此，在某個(gè)時(shí)候，我們應(yīng)該期望機(jī)器能夠被掌控。' 因?yàn)楫?dāng)一個(gè)比人類更強(qiáng)大的智能體出現(xiàn)時(shí)，人類很難維持權(quán)力，特別是當(dāng)這些智能體具有不正確或不完整的目標(biāo)時(shí)。
如果有人認(rèn)為現(xiàn)在考慮這些風(fēng)險(xiǎn)是危言聳聽，你可以直接問他們：你如何在比人類更強(qiáng)大的智能體面前永遠(yuǎn)保持權(quán)力？我很想聽聽他們的回答。此外，在人工智能領(lǐng)域，還有一些人試圖回避這個(gè)問題，否認(rèn) AGI 的可實(shí)現(xiàn)性，卻沒有提供任何證據(jù)。
歐盟人工智能法案中定義了一種標(biāo)準(zhǔn)的人工智能系統(tǒng)，它們能夠根據(jù)人類定義的目標(biāo)，實(shí)現(xiàn)這些目標(biāo)。有人告訴我，這個(gè)標(biāo)準(zhǔn)來自經(jīng)合組織，經(jīng)合組織的人告訴我這來自我的教科書早期版本?，F(xiàn)在，我認(rèn)為標(biāo)準(zhǔn)的人工智能系統(tǒng)這一定義從根本上是有缺陷的，因?yàn)槲覀儫o法完全準(zhǔn)確地說明我們希望人工智能在現(xiàn)實(shí)世界中做什么，也無法準(zhǔn)確描述我們希望未來是什么樣子。一個(gè)追求不正確目標(biāo)的人工智能系統(tǒng)將會(huì)帶來我們不想要的未來。
社交媒體中的推薦系統(tǒng)提供了一個(gè)例子 —— 推薦系統(tǒng)試圖最大限度地提高點(diǎn)擊率或參與度，它們已經(jīng)學(xué)會(huì)了通過操縱人類來做到這一點(diǎn)，通過一連串的提示將人類變成更可預(yù)測的、顯然是更極端的自己的版本。讓人工智能變得 “更好” 只會(huì)讓人類的結(jié)果變得更糟。
相反，我們需要建立人工智能系統(tǒng)，1）只以人類利益為目標(biāo)，2）明確它們不知道這意味著什么。由于人工智能不了解人類利益的真正含義，它必須對(duì)人類的偏好保持不確定性，以確保我們對(duì)它保持控制。當(dāng)機(jī)器不確定人類的偏好時(shí)，機(jī)器應(yīng)該可以被關(guān)閉。一旦人工智能的目標(biāo)不再有任何不確定性，人類就成了犯錯(cuò)的人，機(jī)器將不會(huì)再被關(guān)閉。
朱松純：如果通用人工智能成為現(xiàn)實(shí)，從長遠(yuǎn)來看，它們可能會(huì)對(duì)人類的生存成威脅。我們可以通過回顧漫長的智能進(jìn)化史推測到，通用人工智能的誕生幾乎是不可避免的。
現(xiàn)代科學(xué)研究表明，地球上的生命體在不斷進(jìn)化，從無機(jī)物到有機(jī)物、單細(xì)胞、多細(xì)胞生物，再到植物、動(dòng)物，最后進(jìn)化到人類這樣的智慧生物。這揭示了從 “物理” 到 “智能” 是一個(gè)連續(xù)的演化過程。從無生命的物體到有生命的智能，邊界在哪里？這個(gè)問題非常重要，因?yàn)樗P(guān)乎如何理解與定義未來社會(huì)與我們共存的 “智能體”，我認(rèn)為這個(gè)答案和 “生命度” 相關(guān)，從無生命到簡單生命體再到復(fù)雜智能體，“生命度” 越來越大，“智能” 也越來越復(fù)雜，這是一個(gè)連續(xù)的頻譜，我們沒有理由認(rèn)為人類會(huì)是這個(gè)進(jìn)化頻譜的終點(diǎn)，這也預(yù)示了未來通用智能體超過人類是有可能的。
為了預(yù)防未來的通用人工智能給人類帶來威脅，我們可以逐步放開通用智能體的能力空間和價(jià)值空間。就像我們面對(duì)機(jī)器人這樣，一開始把它關(guān)在 “籠子” 里，慢慢打開權(quán)限，現(xiàn)在特定路段已經(jīng)出現(xiàn)了無人駕駛車輛。我們可以先將人工智能系統(tǒng)的適用場合和行動(dòng)空間限制在特定區(qū)域內(nèi)。隨著我們對(duì)機(jī)器的信任的增加，確認(rèn) AI 系統(tǒng)安全可控后，再逐步給予它們更大的空間。另外，我們應(yīng)該促進(jìn)算法決策過程的透明度。如果我們能夠外顯地表示通用人工智能的認(rèn)知架構(gòu)，從而知道它是如何工作的，就能更好地控制它。
Mark Nitzberg：Stuart，在你的研究工作中，有哪些方向可以看作是對(duì)齊研究？
Stuart Russell：我們?cè)?CHAI 的核心目標(biāo)是為了實(shí)現(xiàn)上述的愿景，即構(gòu)建一個(gè)能夠處理目標(biāo)不確定性的人工智能系統(tǒng)。已有的方法，可能除了模仿學(xué)習(xí)，都向人工智能系統(tǒng)事先假定了一個(gè)固定已知的目標(biāo)，所以這些方法可能會(huì)需要被重新設(shè)計(jì)。
簡言之，我們正在嘗試模擬一個(gè)多人和多機(jī)器互動(dòng)的系統(tǒng)。由于每個(gè)人都有自的偏好，但機(jī)器可以影響多人，因此我們將機(jī)器的效用函數(shù)定義為人的效用函數(shù)的總和。但是，我們面臨三個(gè)問題。
第一個(gè)問題是如何將不同人的偏好聚合起來，以便機(jī)器能夠理解和滿足大多數(shù)人的需求。有人提出加法可能是一個(gè)好的聚合函數(shù)，因?yàn)槊總€(gè)人享有相同的權(quán)重，并且具有很好的形式感，這在經(jīng)濟(jì)學(xué)家 John Harsanyi 和其他人的工作中被很好地論證。但肯定還有別的觀點(diǎn)。
第二個(gè)問題是我們?nèi)绾伪碚髌媒Y(jié)構(gòu)的豐富性，即對(duì)宇宙的所有可能未來的分布的排序，這些是非常復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，在人腦和機(jī)器都沒有被外顯地表征。因此，我們需要一些方法來對(duì)偏好進(jìn)行有效地排序、分解和組合。
目前有一些 AI 研究試圖利用所謂的 “CP nets'來表征一些復(fù)雜的效用函數(shù)，CP Nets 對(duì)多屬性效用函數(shù)的分解方式與貝葉斯網(wǎng)對(duì)復(fù)雜的多變量概率模型的分解方式大致相同。然而，人工智能并沒有真正研究人類幸福感的內(nèi)容，鑒于該領(lǐng)域聲稱要幫助人類，這一點(diǎn)令人驚訝。在經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、發(fā)展學(xué)等領(lǐng)域，確實(shí)有研究人類幸福感的學(xué)術(shù)社區(qū)，他們傾向于編制諸如健康、安全、住房、食物等因素的清單，這些清單主要是為了與其他人類溝通優(yōu)先事項(xiàng)和公共政策，可能沒有捕捉到許多' 顯而易見 ' 的未說明的偏好，如 “想要腿腳健全”。據(jù)我所知，這些研究人員還沒有開發(fā)出一種科學(xué)理論來預(yù)測人類行為，但是對(duì)于人工智能來說，我們需要完整的人類偏好結(jié)構(gòu)，包括所有可能的未說明偏好；如果我們錯(cuò)過了任何重要的東西，可能會(huì)導(dǎo)致問題。
第三個(gè)問題是如何從人類行為中推斷出偏好，并表征人類偏好的可塑性。如果偏好隨著時(shí)間的推移而改變，那么人工智能是為誰工作 —— 今天的你還是明天的你？我們不希望人工智能改變我們的偏好，以符合容易實(shí)現(xiàn)的世界狀態(tài)，這樣會(huì)導(dǎo)致世界失去多樣性。
除了這些基本的研究問題，我們還在思考如何在更廣泛的基礎(chǔ)上重建所有那些假定人工智能系統(tǒng)在前期被賦予完全已知目標(biāo)的人工智能技術(shù)（搜索算法、規(guī)劃算法、動(dòng)態(tài)編程算法、強(qiáng)化學(xué)習(xí)等等）。新系統(tǒng)的一個(gè)關(guān)鍵屬性是系統(tǒng)運(yùn)行時(shí)從人類流向機(jī)器的偏好信息。這在現(xiàn)實(shí)世界中是非常正常的。例如，我們要求出租車司機(jī) '帶我們?nèi)C(jī)場'。這實(shí)際上是一個(gè)比我們的真實(shí)目標(biāo)更廣泛的目標(biāo)。當(dāng)我們?cè)谝挥⒗镏鈺r(shí)，司機(jī)會(huì)問我們需要哪個(gè)航站樓。當(dāng)我們?cè)絹碓浇鼤r(shí)，司機(jī)可能會(huì)問哪家航空公司，以便把我們送到正確的門口。(但不是確切的離門多少毫米！) 所以我們需要定義最適合于某一類算法的不確定性和偏好轉(zhuǎn)移的形式；例如，搜索算法使用一個(gè)成本函數(shù)，所以機(jī)器可以假設(shè)該函數(shù)的界限，并詢問人類兩個(gè)行動(dòng)序列中哪個(gè)更合適，從而完善該界限。
一般來說，機(jī)器總是有關(guān)于人類偏好的大量不確定性；由于這個(gè)原因，我認(rèn)為在這個(gè)領(lǐng)域經(jīng)常使用的術(shù)語 '對(duì)齊' 可能會(huì)產(chǎn)生誤導(dǎo)，因?yàn)槿藗儍A向于認(rèn)為它意味著 '首先完全對(duì)齊機(jī)器和人類的偏好，然后選擇做什么'?？赡苁聦?shí)上并不是如此。
Mark Nitzberg：松純，請(qǐng)介紹一下你們做的價(jià)值對(duì)齊研究。
朱松純：談?wù)搩r(jià)值對(duì)齊，首先要探討一下 “價(jià)值”，我認(rèn)為當(dāng)下的人工智能研究應(yīng)該由數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)變?yōu)閮r(jià)值驅(qū)動(dòng)。人的各種智能行為是由價(jià)值所驅(qū)動(dòng)的，人能夠快速理解和學(xué)習(xí)價(jià)值。例如，當(dāng)你坐在椅子上時(shí)，我們可以通過椅子和身體接觸的受力分析，觀察平衡態(tài)，從而隱含地推斷出 “舒適性” 這一價(jià)值。這一價(jià)值人可能無法用語言來準(zhǔn)確描述，但和椅子交互卻可以表達(dá)。我們還可以通過疊衣服的方式來了解人的美學(xué)價(jià)值。
此外我認(rèn)為價(jià)值系統(tǒng)有一套統(tǒng)一的表征，目前偏好的豐富性是因?yàn)榻y(tǒng)一的價(jià)值在不同條件上的映射。我們的價(jià)值會(huì)隨著情況的不同而改變，舉個(gè)例子，一輛公交車到站，如果你在等車，你可能希望公交車停留時(shí)間長一點(diǎn)，讓你上去；而如果你在車上，你可能希望門立刻關(guān)上。人工智能系統(tǒng)必須能夠快速地適應(yīng)我們偏好的改變，因此，價(jià)值驅(qū)動(dòng)的認(rèn)知架構(gòu)對(duì)人工智能而言是必不可少的。
為達(dá)到人類認(rèn)知水平的通用智能，我們?cè)?BIGAI 的研究中納入了價(jià)值對(duì)齊這一要素，并構(gòu)建了包含四個(gè)對(duì)齊的人機(jī)交互系統(tǒng)。第一個(gè)對(duì)齊是一個(gè)共享的表征，包括對(duì)世界的共同理解。第二個(gè)對(duì)齊是共享的核心知識(shí)，如物理常識(shí)、因果鏈和邏輯等。第三個(gè)對(duì)齊是共享的社會(huì)規(guī)范，規(guī)定了 AI 要遵循人類社會(huì)的規(guī)范，保持適當(dāng)?shù)男袨?。第四個(gè)對(duì)齊是共享的價(jià)值觀，即 AI 需要與人類的道德原則保持一致。
我們發(fā)表了實(shí)時(shí)雙向人機(jī)價(jià)值對(duì)齊研究（Bidirectional human-robot value alignment）。這項(xiàng)研究提出了一個(gè)可解釋的人工智能系統(tǒng)。在該系統(tǒng)中，一組機(jī)器人通過與用戶的即時(shí)交互并通過用戶的反饋來推斷用戶的價(jià)值目標(biāo)，同時(shí)通過 “解釋” 將其決策過程傳達(dá)給用戶，讓用戶了解機(jī)器人做出判斷的價(jià)值依據(jù)。此外，該系統(tǒng)通過推測用戶的內(nèi)在價(jià)值偏好，并預(yù)測了最佳的解釋方式，生成用戶更容易理解的解釋。
Mark Nitzberg：AI 系統(tǒng)的哪些特征讓我們判斷它們不會(huì)通向通用人工智能？
朱松純：我們?nèi)绾闻袛嘁粋€(gè) AI 是否是通用人工智能，其中一個(gè)重要的因素就是我們對(duì)它的信任程度。信任有兩個(gè)層次：一是對(duì) AI 能力的信任，二是對(duì) AI 是否對(duì)人的情感和價(jià)值有益的信任。比如，現(xiàn)在的人工智能系統(tǒng)可以很好地識(shí)別圖片，但要建立信任，它們必須是可解釋和可理解的。一些技術(shù)很厲害，但是不能被解釋，也會(huì)被認(rèn)為是不可信的。這在武器或航空系統(tǒng)等領(lǐng)域尤其重要，因?yàn)樵谶@些領(lǐng)域犯錯(cuò)的代價(jià)很嚴(yán)重。在這種情況下，信任的情感維度更為重要，AI 需要解釋它們是如何做出決策的，才能被人類信任。因此我們需要通過人機(jī)之間的迭代、交流、協(xié)作增進(jìn)互相理解，進(jìn)而達(dá)成共識(shí)，產(chǎn)生 “有依據(jù)的信任”(Justified Trust)。
進(jìn)一步思考，追問什么是通用人工智能本質(zhì)上就是在追問什么是 “人”？每個(gè)人都是一個(gè)通用智能體。我們提出了一套 UV 雙系統(tǒng)驅(qū)動(dòng)的理論來解釋通用人工智能體。U 系統(tǒng)是勢能函數(shù)，包含了智能體所掌握的客觀物理定律、社會(huì)規(guī)范；V 系統(tǒng)包含了智能體的價(jià)值函數(shù)的集合，參考了馬斯洛的需求層次理論和發(fā)展心理學(xué)的研究，我們將價(jià)值進(jìn)行了大致分類?；?UV 雙系統(tǒng)，我們嘗試對(duì)通用人工智能的發(fā)展水平進(jìn)行測評(píng)，形成 L1 到 L5 的不同標(biāo)準(zhǔn)，這套測試系統(tǒng)將于今年發(fā)布。
Stuart Russell：目前的人工智能系統(tǒng)沒有通用性，因?yàn)殡娐窡o法很好地捕捉通用性。我們已經(jīng)在大型語言模型很難學(xué)習(xí)算術(shù)的基本規(guī)則中看到了這一點(diǎn)。我們最新的研究發(fā)現(xiàn)，盡管有數(shù)百萬個(gè)例子，之前擊敗人類的人工智能圍棋系統(tǒng)還是無法正確理解 “大龍” 和 “死活” 的概念，我們作為業(yè)余圍棋選手的研究員開發(fā)出了一套策略，戰(zhàn)勝了圍棋程序。
如果我們有信心人工智能對(duì)人類有益，那么我們就需要知道它是如何工作的。我們需要將人工智能系統(tǒng)建立在一個(gè)語義上可組合的基質(zhì) (substrate) 上，該基質(zhì)由明確的邏輯和概率理論支持，從而作為一個(gè)良好的基礎(chǔ)，以將來實(shí)現(xiàn)通用人工智能。創(chuàng)建這種系統(tǒng)的一個(gè)可能方法是概率編程，也是我們?cè)?CHAI 最近希望探索的?？吹剿杉円苍?BIGAI 探索相似的方向，讓我感到很受鼓舞。
聯(lián)系客服
