幾百萬年前，第一次人類智能的星火出現(xiàn)在非洲大陸，并且持續(xù)發(fā)展，最終在大約10萬年前在智人的大腦中達(dá)到頂峰。作為現(xiàn)代人類，我們只能想象我們的古代祖先在窺視夜空時(shí)所經(jīng)歷的事情，以思考物理現(xiàn)實(shí)的本質(zhì)，以及從內(nèi)心窺視自己心理現(xiàn)實(shí)的本質(zhì)。在過去的幾百年里，我們的物種通過發(fā)現(xiàn)控制空間、時(shí)間、物質(zhì)和能量的基本數(shù)學(xué)定律。在發(fā)展對(duì)物理現(xiàn)實(shí)的精確理解方面取得了巨大的智力進(jìn)步，現(xiàn)在已經(jīng)在量子力學(xué)的大框架中被編纂。然而，我們正處于探索心理現(xiàn)實(shí)本質(zhì)的最初階段。尤其是人類智能是如何從100億個(gè)突觸連接的1000億個(gè)神經(jīng)元的生物濕件中產(chǎn)生的？神經(jīng)科學(xué)，心理學(xué)和認(rèn)知科學(xué)等現(xiàn)代學(xué)科在過去100年中取得了重要進(jìn)展，為解決這一重大問題奠定了基礎(chǔ)。
但是，當(dāng)涉及到我們的心智能力時(shí)，對(duì)于現(xiàn)代人來說，僅僅理解它們是不夠的，我們非常希望在無生命系統(tǒng)中重現(xiàn)這些功能。本質(zhì)上，人類作為進(jìn)化的產(chǎn)物，有時(shí)也渴望扮演創(chuàng)造者的角色。這種向往滲透在人類文學(xué)的作品，事實(shí)上，人工智能（AI）這個(gè)新興領(lǐng)域，通常與神經(jīng)科學(xué)，心理學(xué)和認(rèn)知科學(xué)領(lǐng)域合作，在創(chuàng)造具有類似人類能力的機(jī)器方面取得了巨大進(jìn)步。在這篇文章中，我將進(jìn)一步探討人工智能，神經(jīng)科學(xué)，心理學(xué)和認(rèn)知科學(xué)以及數(shù)學(xué)，物理和社會(huì)科學(xué)中的聯(lián)合學(xué)科在過去和未來將繼續(xù)如何共同努力追求交織在一起的理解和創(chuàng)造智能系統(tǒng)的過程。
生物學(xué)與人工智能之間的富有成效的合作
在過去的60多年中，AI的發(fā)展受到了神經(jīng)科學(xué)和心理學(xué)的深刻影響，其中也受到了神經(jīng)科學(xué)和心理學(xué)的啟發(fā)。在早期的幾十年中，許多AI從業(yè)者在神經(jīng)科學(xué)和心理學(xué)方面進(jìn)行了很好的研究。在這里，我提供了神經(jīng)科學(xué)，心理學(xué)和AI之間過去的相互作用：
l 這種相對(duì)簡單的元素（神經(jīng)元）的分布式網(wǎng)絡(luò)能夠?qū)崿F(xiàn)源于神經(jīng)科學(xué)的人類智能的顯著計(jì)算，并且現(xiàn)在以神經(jīng)網(wǎng)絡(luò)的形式滲透到AI系統(tǒng)中。這個(gè)想法并不總是顯而易見的，在大約一百年前，在高爾基和卡哈爾之間的著名辯論之后，它才變得堅(jiān)定。
l 包括多維尺度和因子分析在內(nèi)的各種降維技術(shù)最初是在心理測量學(xué)研究的背景下開發(fā)的。
l 著名的神經(jīng)科學(xué)家霍勒斯·巴洛（Horace Barlow）發(fā)明了分解代碼的概念，這反過來啟發(fā)了獨(dú)立成分分析（ICA）和當(dāng)前的AI研究，旨在解開數(shù)據(jù)變異的獨(dú)立因素。
l 托爾曼在認(rèn)知圖上的工作提供了方向，使得我們可以使用這些模型進(jìn)行規(guī)劃和導(dǎo)航。這鞏固了內(nèi)部模型形成作為動(dòng)物智能的關(guān)鍵組成部分的思想，這部分目前處于人工智能研究的前沿。
l Hopfield網(wǎng)絡(luò)是理論神經(jīng)科學(xué)的一個(gè)模型，為思考分布式、可尋址的存儲(chǔ)器和檢索提供了一個(gè)統(tǒng)一的框架，也啟發(fā)了Boltzmann機(jī)器，這反過來又為證明深度神經(jīng)網(wǎng)絡(luò)模型的成功提供了關(guān)鍵的第一步。它還啟發(fā)了許多弱約束的分布式以滿足作為AI計(jì)算模型的想法。
l 目前主導(dǎo)機(jī)器視覺的深層卷積網(wǎng)絡(luò)的關(guān)鍵核心直接受到大腦的啟發(fā)。其中包括腹側(cè)流中的分層視覺處理，它表明深度的重要性;視網(wǎng)膜的發(fā)現(xiàn)是整個(gè)視覺皮層的組織原理，導(dǎo)致卷積的出現(xiàn);發(fā)現(xiàn)簡單和復(fù)雜的細(xì)胞激發(fā)了最大池化等操作。
l 關(guān)于稀疏編碼的研究工作是為了理解初級(jí)視覺皮層中定向邊緣檢測器，導(dǎo)致稀疏編碼成為現(xiàn)代AI系統(tǒng)中的基本構(gòu)建塊。
l 時(shí)序差分學(xué)習(xí)等算法現(xiàn)在是強(qiáng)化學(xué)習(xí)領(lǐng)域的基礎(chǔ)，它受到經(jīng)典條件反射的動(dòng)物實(shí)驗(yàn)的啟發(fā)。
l 反過來，強(qiáng)化學(xué)習(xí)對(duì)基底神經(jīng)節(jié)功能的解釋具有顯著影響，其中多巴胺能為基底神經(jīng)節(jié)提供了非常重要的獎(jiǎng)勵(lì)預(yù)測誤差信號(hào)，該信號(hào)也驅(qū)動(dòng)許多強(qiáng)化學(xué)習(xí)算法。
l 大腦中存儲(chǔ)系統(tǒng)的模塊化啟發(fā)了現(xiàn)代記憶神經(jīng)網(wǎng)絡(luò)，其在一定程度上將存儲(chǔ)器存儲(chǔ)和執(zhí)行控制電路的操作分開，其決定何時(shí)從存儲(chǔ)器讀取和寫入。
l 人類注意力系統(tǒng)激發(fā)了注意力機(jī)制和神經(jīng)網(wǎng)絡(luò)的結(jié)合，這些神經(jīng)網(wǎng)絡(luò)可以被訓(xùn)練以動(dòng)態(tài)地注意力或忽略其狀態(tài)和輸入的不同方面以進(jìn)行未來的計(jì)算決策。
l 語言學(xué)和認(rèn)知科學(xué)中正式生成語法的發(fā)展導(dǎo)致概率語法的發(fā)展和CS的解析。
l Dropout等現(xiàn)代正則化技術(shù)的靈感來自于神經(jīng)動(dòng)力學(xué)的內(nèi)在隨機(jī)性。
人工智能未來的生物學(xué)啟示
盡管當(dāng)前人工智能系統(tǒng)在監(jiān)督模式識(shí)別任務(wù)方面取得了顯著的商業(yè)成功，但仿真人類智能仍然有很長的路要走。在這里，我將概述一些個(gè)人觀點(diǎn)，其中我認(rèn)為生物學(xué)和人工智能領(lǐng)域可以攜手前進(jìn)。
1、生物學(xué)上可信的信用分配（plausible credit assignment）
信用分配問題可能是神經(jīng)科學(xué)和人工智能領(lǐng)域最大的開放性問題之一。很明顯，假設(shè)你正在打網(wǎng)球而且你沒有擊中球。你的100萬億個(gè)突觸中有哪一個(gè)應(yīng)該受到指責(zé)？大腦如何在你的運(yùn)動(dòng)系統(tǒng)中專門找到并糾正突觸組，尤其是在錯(cuò)誤發(fā)生后幾百毫秒內(nèi)通過視覺系統(tǒng)傳遞錯(cuò)誤時(shí)？在AI中，這種信用分配問題在許多情況下通過多層計(jì)算的反向傳播來解決。然而，目前尚不清楚大腦如何解決這個(gè)問題。真實(shí)的情況是，大腦使用本地學(xué)習(xí)規(guī)則解決它：即每個(gè)突觸僅使用物理上可用的信息來調(diào)整其強(qiáng)度，例如，由突觸連接的兩個(gè)神經(jīng)元的電活動(dòng)來獎(jiǎng)勵(lì)和懲罰的任何神經(jīng)調(diào)節(jié)輸入。解釋這些本地突觸規(guī)則是什么以及它們?nèi)绾喂ぷ骺赡軙?huì)對(duì)AI產(chǎn)生巨大影響，這可以一定程度上減少反向傳播的通信開銷。但更一般地說，解決困擾神經(jīng)科學(xué)和人工智能的常見未解決問題應(yīng)該通過將突觸生理學(xué)家，計(jì)算神經(jīng)科學(xué)家和AI從業(yè)者聚集在一起來集體解決生物學(xué)上可信的信用分配問題來推動(dòng)進(jìn)步。
2、融合突觸復(fù)雜性
生物和人工神經(jīng)模型之間的主要區(qū)別在于我們模擬連接神經(jīng)元的突觸的方式。在人工網(wǎng)絡(luò)中，突觸由單個(gè)標(biāo)量值建模，反映乘法增益因子，轉(zhuǎn)換神經(jīng)元的輸入如何影響神經(jīng)元的輸出。相反，每個(gè)生物突觸都隱藏在極其復(fù)雜的分子信號(hào)通路中。例如，我們對(duì)最近事件記憶的海馬突觸各自包含數(shù)百種不同類型分子的化學(xué)反應(yīng)網(wǎng)絡(luò)，同時(shí)它具有整個(gè)復(fù)雜時(shí)間處理能力的動(dòng)力系統(tǒng)。
在看到這種復(fù)雜性后，理論家或工程師可能會(huì)試圖簡單地將其視為生物學(xué)上的混亂，而這種混亂就是一種進(jìn)化的偶然事件。然而，理論研究表明，這種突觸復(fù)雜性可能確??實(shí)對(duì)學(xué)習(xí)和記憶至關(guān)重要。事實(shí)上，在突觸具有有限動(dòng)態(tài)范圍的記憶網(wǎng)絡(luò)模型中，這樣的突觸本身就要求是具有復(fù)雜時(shí)間濾波特性的動(dòng)態(tài)系統(tǒng)，以實(shí)現(xiàn)合理的網(wǎng)絡(luò)存儲(chǔ)容量。此外，最近在AI中正在利用更智能的突觸作為解決災(zāi)難性遺忘問題的一種方法，其中訓(xùn)練學(xué)習(xí)兩個(gè)任務(wù)的網(wǎng)絡(luò)只能學(xué)習(xí)第二個(gè)任務(wù)，因?yàn)閷W(xué)習(xí)第二個(gè)任務(wù)會(huì)改變突觸權(quán)重以這種方式消除從學(xué)習(xí)第一項(xiàng)任務(wù)中獲得的知識(shí)。
一般地說，我們的人工智能系統(tǒng)很可能通過忽略生物突觸的動(dòng)態(tài)復(fù)雜性而取得重大的性能提升。正如我們?yōu)槲覀兊木W(wǎng)絡(luò)添加空間深度以實(shí)現(xiàn)復(fù)雜的層次表示一樣，我們可能還需要為突觸添加動(dòng)態(tài)深度以實(shí)現(xiàn)復(fù)雜的時(shí)間學(xué)習(xí)功能。
單個(gè)突觸內(nèi)的復(fù)雜分子狀態(tài)可以幫助學(xué)習(xí)和記憶。
從系統(tǒng)級(jí)模塊化大腦架構(gòu)中獲取靈感
通常，當(dāng)前的商業(yè)AI系統(tǒng)涉及具有相對(duì)均勻的分層或循環(huán)架構(gòu)的訓(xùn)練網(wǎng)絡(luò)，其從隨機(jī)權(quán)重開始。但是，對(duì)于更復(fù)雜的任務(wù)來說，這可能是一個(gè)難以解決的問題。事實(shí)上，生物進(jìn)化的道路卻截然不同。所有脊椎動(dòng)物的最后共同祖先生活在5億年前。從那以后，它的基本大腦一直在發(fā)展，導(dǎo)致大約1億年前出現(xiàn)哺乳動(dòng)物大腦，以及幾百萬年前的人類大腦。這種不間斷的進(jìn)化鏈導(dǎo)致了一個(gè)錯(cuò)綜復(fù)雜的大腦結(jié)構(gòu)，具有高度保守的計(jì)算元素和巨大的系統(tǒng)級(jí)模塊化。事實(shí)上，我們目前缺乏工程設(shè)計(jì)原則，來解釋像大腦一樣復(fù)雜的傳感，通信，控制和記憶網(wǎng)絡(luò)可以在5億年的時(shí)間內(nèi)不斷擴(kuò)大規(guī)模和復(fù)雜性，同時(shí)永遠(yuǎn)不會(huì)失去在動(dòng)態(tài)環(huán)境中自適應(yīng)運(yùn)行的能力。因此，AI從大腦的系統(tǒng)級(jí)結(jié)構(gòu)中獲取靈感可能非常有趣。
一個(gè)關(guān)鍵的系統(tǒng)屬性是功能和結(jié)構(gòu)的模塊化。大腦不像我們目前的AI架構(gòu)是同質(zhì)的，而是有不同的模塊，如海馬（保留情節(jié)記憶和導(dǎo)航），基底神經(jīng)節(jié)（潛在的強(qiáng)化學(xué)習(xí)和動(dòng)作選擇）和小腦（自動(dòng)化的運(yùn)動(dòng)控制和通過監(jiān)督學(xué)習(xí)獲得更高層次的認(rèn)知）。此外，人腦中的記憶系統(tǒng)（習(xí)慣記憶，運(yùn)動(dòng)技能，短期記憶，長期記憶，情景記憶，語義記憶）也是功能模塊化的。此外，在運(yùn)動(dòng)系統(tǒng)中，嵌套反饋環(huán)架構(gòu)占主導(dǎo)地位，通過簡單的快速循環(huán)在20毫秒內(nèi)實(shí)現(xiàn)自動(dòng)運(yùn)動(dòng)校正，稍慢的智能循環(huán)通過運(yùn)動(dòng)皮層在50毫秒內(nèi)實(shí)現(xiàn)更復(fù)雜的運(yùn)動(dòng)校正，最后經(jīng)過整個(gè)大腦的視覺反饋實(shí)現(xiàn)對(duì)運(yùn)動(dòng)錯(cuò)誤的有意識(shí)的校正。最后，所有哺乳動(dòng)物大腦的一個(gè)主要特征是由大量相似的6層皮質(zhì)柱組成的新皮層，所有這些都被認(rèn)為是在單個(gè)規(guī)范計(jì)算模塊上實(shí)現(xiàn)的變異。
總體而言，現(xiàn)代哺乳動(dòng)物大腦具有顯著的模塊性，通過1億年的進(jìn)化保存下來，表明這種系統(tǒng)級(jí)模塊化可能有利于在AI系統(tǒng)中實(shí)施。目前從白板上訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法是不可能走向更普遍的人類智能的途徑。實(shí)際上，系統(tǒng)級(jí)模塊化的組合帶來的不同類型的糾錯(cuò)嵌套循環(huán)和動(dòng)態(tài)復(fù)雜的突觸可能都是解決生物學(xué)上可信的信用分配的關(guān)鍵因素。
聯(lián)系客服
