大腦是宇宙中已知的，也可能是唯一的“智能機(jī)器”。
在行為學(xué)層面，人與動(dòng)物的大腦能執(zhí)行精細(xì)的、高水平的認(rèn)知任務(wù)，包括靈活學(xué)習(xí)、長(zhǎng)時(shí)程記憶、開放式環(huán)境決策等。在結(jié)構(gòu)層面，認(rèn)知與計(jì)算神經(jīng)科學(xué)揭示了大腦通過極其復(fù)雜而精細(xì)的網(wǎng)絡(luò)實(shí)現(xiàn)其功能。北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院吳思教授與清華大學(xué)社會(huì)科學(xué)院心理學(xué)系的劉嘉教授等人在今年1月發(fā)表的“AI of Brain and Cognitive Sciences: From the Perspective of First Principles”一文中提到，隨著人類對(duì)大腦的結(jié)構(gòu)與功能的認(rèn)識(shí)不斷深化，大腦的基本原理為改進(jìn)人工智能提供了最重要的參考。這些基本原理指大腦提取、表征、處理、檢索信息的規(guī)則，它們指引著大腦的運(yùn)行，是大腦執(zhí)行其他更高級(jí)認(rèn)知功能的基礎(chǔ)。
論文作者們將大腦的基本原理概括為：吸引子網(wǎng)絡(luò)、臨界性、隨機(jī)網(wǎng)絡(luò)、稀疏編碼、關(guān)系記憶、感知學(xué)習(xí)。解讀這些原理，并將其靈活用于人工智能，可能是使人工智能更“像”人類智能，并在性能上獲得進(jìn)一步提升的關(guān)鍵。
本次追問邀請(qǐng)了四位認(rèn)知神經(jīng)科學(xué)領(lǐng)域的青年學(xué)者基于這篇重要論文對(duì)“人工智能如何向人類智能學(xué)習(xí)？”的話題進(jìn)行了解讀。本次解讀將分上中下三篇，從以上六個(gè)方面與您一起揭秘大腦的基本原理。
?圖 1：論文封面
大腦由大量神經(jīng)元組成，神經(jīng)元之間通過突觸形成各種網(wǎng)絡(luò)。單個(gè)神經(jīng)元的計(jì)算相當(dāng)簡(jiǎn)單，而神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)變化才是完成大腦功能的關(guān)鍵。簡(jiǎn)單地說，神經(jīng)網(wǎng)絡(luò)接收來自外部世界和其他腦區(qū)的輸入，其狀態(tài)不斷變化，從而進(jìn)行信息處理。因此，動(dòng)態(tài)系統(tǒng)理論是量化大腦如何通過網(wǎng)絡(luò)進(jìn)行計(jì)算的重要數(shù)學(xué)工具。
在動(dòng)力學(xué)系統(tǒng)中，不同的狀態(tài)演化規(guī)則和多樣的外部輸入可以產(chǎn)生各種動(dòng)態(tài)學(xué)現(xiàn)象。在一個(gè)神經(jīng)網(wǎng)絡(luò)里，如果一個(gè)狀態(tài)向量（state vector）的所有鄰近狀態(tài)都匯聚于它，那么這個(gè)狀態(tài)向量就被稱為穩(wěn)定吸引子（stable attractor）。擁有穩(wěn)定吸引子的網(wǎng)絡(luò)被稱為吸引子網(wǎng)絡(luò)（attractor network），它們構(gòu)成了大腦信息表征、處理和檢索的基本構(gòu)建模塊。具有穩(wěn)定狀態(tài)的吸引子網(wǎng)絡(luò)可分為兩種類型，即離散吸引子網(wǎng)絡(luò)（discrete attractor network）和連續(xù)吸引子網(wǎng)絡(luò)（continuous attractor network）。在神經(jīng)網(wǎng)絡(luò)中，吸引子對(duì)應(yīng)網(wǎng)絡(luò)的能量空間中的局部最小值，所有鄰近狀態(tài)的能量都高于它，所以會(huì)被“吸引”到這里（圖1）。
?圖 1：離散吸引子網(wǎng)絡(luò)和連續(xù)吸引子網(wǎng)絡(luò)示意圖。圖源：參考文獻(xiàn)1
在離散吸引子網(wǎng)絡(luò)中，每個(gè)吸引子都有自己的吸引區(qū)域。如果以隨機(jī)狀態(tài)開始，網(wǎng)絡(luò)的動(dòng)態(tài)性會(huì)驅(qū)動(dòng)隨機(jī)狀態(tài)向其鄰近吸引子狀態(tài)變化，這個(gè)過程也伴隨著網(wǎng)絡(luò)的能量降低。離散吸引子的這種特性使得網(wǎng)絡(luò)能夠糾正輸入噪聲并檢索記憶表征。現(xiàn)在，離散吸引子網(wǎng)絡(luò)經(jīng)常用于模擬工作記憶、長(zhǎng)期記憶和決策等。
與離散吸引子網(wǎng)絡(luò)不同，在連續(xù)吸引子神經(jīng)網(wǎng)絡(luò)（continuous attractor neural networks，CANN）中，吸引子在狀態(tài)空間中連續(xù)分布，形成一個(gè)平滑的流形。這個(gè)特性使得CANN中的吸引子狀態(tài)能夠迅速轉(zhuǎn)變。它為CANN帶來了許多潛在的利用價(jià)值，如路徑積分、證據(jù)累積、預(yù)測(cè)性跟蹤等。
已經(jīng)有很多實(shí)驗(yàn)研究證明大腦中存在吸引子動(dòng)力學(xué)，并且吸引子網(wǎng)絡(luò)常被用于描述一些高級(jí)認(rèn)知功能的潛在機(jī)制，這有賴于其在信息表征中的基本特性。
在離散吸引子網(wǎng)絡(luò)中，記憶信息被存儲(chǔ)為一個(gè)吸引子狀態(tài)。在給定部分或有噪聲線索的情況下，網(wǎng)絡(luò)會(huì)動(dòng)態(tài)演化到一個(gè)吸引子狀態(tài)，并且相應(yīng)的記憶會(huì)被檢索出來。不同的吸引子對(duì)應(yīng)于不同的局部能量最小值，并且有著各自的吸引域。如果噪聲擾動(dòng)不足以將網(wǎng)絡(luò)狀態(tài)推出吸引域，那么吸引子狀態(tài)就是穩(wěn)定的，所以記憶信息被穩(wěn)健地編碼。
與離散吸引子網(wǎng)絡(luò)不同，在連續(xù)吸引子網(wǎng)絡(luò)中，吸引子在網(wǎng)絡(luò)狀態(tài)空間中形成一個(gè)平坦的流形，并且它們對(duì)噪聲有部分的穩(wěn)健性。如果噪聲擾動(dòng)與流形正交，網(wǎng)絡(luò)狀態(tài)在吸引子動(dòng)力學(xué)作用下是穩(wěn)定的。然而，如果噪聲擾動(dòng)沿著流形方向，網(wǎng)絡(luò)狀態(tài)將在吸引子流形上擴(kuò)散，從一個(gè)吸引子移動(dòng)到附近的吸引子。
記憶容量指的是能夠可靠地存儲(chǔ)在吸引子網(wǎng)絡(luò)中的記憶數(shù)量。吸引子網(wǎng)絡(luò)的記憶容量受到幾個(gè)因素的影響。其一是噪聲，當(dāng)網(wǎng)絡(luò)中存儲(chǔ)了過多的記憶時(shí)，每個(gè)吸引子的吸引域會(huì)縮小，從而降低了吸引子對(duì)噪聲的容忍度。另一個(gè)因素是記憶相關(guān)性，當(dāng)記憶模式高度相關(guān)時(shí)，它們會(huì)相互干擾，破壞記憶的檢索。為了增加吸引子網(wǎng)絡(luò)的記憶容量，人們已經(jīng)提出了許多方法，從學(xué)習(xí)規(guī)則到網(wǎng)絡(luò)結(jié)構(gòu)，如基于新奇性的赫布規(guī)則（Hebbian rule）3和模塊化霍普菲爾德網(wǎng)絡(luò)（Hopfield network）4。
除了具有大容量的記憶能力外，一個(gè)優(yōu)秀的信息處理系統(tǒng)還需要高效的信息搜索能力。在吸引子網(wǎng)絡(luò)中，記憶通常以內(nèi)容尋址方式進(jìn)行檢索，即網(wǎng)絡(luò)通過吸引子動(dòng)態(tài)執(zhí)行相似性計(jì)算，檢索出與線索最相似的記憶。
在大容量網(wǎng)絡(luò)中，從眾多吸引子中找到正確的一個(gè)是具有挑戰(zhàn)性的。例如，在一個(gè)自由記憶檢索任務(wù)中，參與者需要盡可能多地搜索和回憶動(dòng)物的名稱。一個(gè)良好的回憶策略是在局部記憶搜索與記憶空間大跳躍之間合適地組合，表現(xiàn)出萊維飛行行為*。董行思等人證明，在一個(gè)帶有噪聲神經(jīng)適應(yīng)的CANN中，網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)顯示出交替的局部布朗運(yùn)動(dòng)和長(zhǎng)跳躍運(yùn)動(dòng)，呈現(xiàn)出萊維飛行的最佳信息搜索行為5。
*編輯注：萊維飛行行為（Levy flight behavior）是一種隨機(jī)行為模式，其中個(gè)體在一定時(shí)間內(nèi)以不規(guī)則的方式移動(dòng)，具有長(zhǎng)尾分布的步長(zhǎng)。這種行為模式以法國(guó)數(shù)學(xué)家Paul Lévy的名字命名。萊維飛行行為與傳統(tǒng)的隨機(jī)行走模型（如布朗運(yùn)動(dòng)）不同，后者通常假設(shè)步長(zhǎng)是固定的，而萊維飛行行為中的步長(zhǎng)是從長(zhǎng)尾分布中隨機(jī)抽取的，因此具有更大的變化范圍。
吸引子網(wǎng)絡(luò)還可以相互交互，實(shí)現(xiàn)信息整合。張文昊等人研究了如何通過相互連接的CANN來實(shí)現(xiàn)多感官信息處理6, 7。在他們的模型中，每個(gè)模塊包含兩組神經(jīng)元，每組神經(jīng)元形成一個(gè)CANN，這些神經(jīng)元的調(diào)諧函數(shù)相對(duì)于模態(tài)輸入要么是一致的，要么是相反的。該研究證明，具有一致神經(jīng)元的耦合CANN可以實(shí)現(xiàn)信息整合，而具有相反神經(jīng)元的耦合CANN可以實(shí)現(xiàn)信息分離，它們之間的相互作用能夠有效地實(shí)現(xiàn)多感官整合和分離。這項(xiàng)研究表明，相互連接的吸引子網(wǎng)絡(luò)可以支持不同腦區(qū)之間的信息傳遞。
最近，在全球范圍內(nèi)的技術(shù)進(jìn)步和大型腦項(xiàng)目的推動(dòng)下，大量關(guān)于腦結(jié)構(gòu)細(xì)節(jié)和神經(jīng)活動(dòng)的數(shù)據(jù)正在涌現(xiàn)，現(xiàn)在是建立大規(guī)模網(wǎng)絡(luò)模型來模擬更高級(jí)認(rèn)知功能的時(shí)機(jī)。作為神經(jīng)信息處理的規(guī)范模型，吸引子網(wǎng)絡(luò)成為人們開展這一任務(wù)的基本構(gòu)建模塊，人工智能也可以借助這一基本模塊，在信息處理和表征方面受到一些啟發(fā)。
根據(jù)全局工作空間理論（global neuronal workspace theory）*，大腦分為一個(gè)共享的全局處理模塊和許多分布式的專門處理模塊8。每個(gè)獨(dú)特的模塊處理來自一個(gè)模態(tài)（如視覺、聽覺、嗅覺或運(yùn)動(dòng)系統(tǒng)）的信息。相反，全局模塊接收并整合來自所有專門模塊的信息，并將整合后的信息“廣播”回這些局部模態(tài)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，需要一個(gè)抽象的信息表示接口，允許不同模塊之間進(jìn)行通信。從這個(gè)意義上說，已經(jīng)在實(shí)驗(yàn)和理論研究中被證明是規(guī)范模型的CANN，自然地成為了在模塊之間表示、轉(zhuǎn)換、整合和廣播信息的統(tǒng)一框架。在未來的研究中，探索這個(gè)問題將是非常有趣的。
*編輯注：全局工作空間理論或全局工作空間模型是1988年心靈哲學(xué)家巴爾斯（B. J. Baars）首次提出的運(yùn)用語境論解釋意識(shí)運(yùn)行的基本規(guī)則的模型。假設(shè)意識(shí)與一個(gè)全局“廣播系統(tǒng)”相聯(lián)系，該系統(tǒng)在整個(gè)大腦中發(fā)布信息，包括三個(gè)部分：專門處理器、全局工作空間和語境。專門處理器是無意識(shí)的，可能是一個(gè)單一的神經(jīng)元，也可能是整個(gè)神經(jīng)網(wǎng)絡(luò)。
臨界性（criticality）的框架是理解和分析復(fù)雜系統(tǒng)的強(qiáng)大工具，因?yàn)樵S多物理和自然系統(tǒng)處于臨界狀態(tài)。在過去的20年里，研究人員發(fā)現(xiàn)大腦中的生物神經(jīng)網(wǎng)絡(luò)的運(yùn)行接近臨界狀態(tài)，這為研究腦部動(dòng)態(tài)提供了新的視角。已知臨界狀態(tài)對(duì)腦部的活動(dòng)/功能非常重要，因?yàn)樗鼉?yōu)化了信息傳輸、存儲(chǔ)和處理的許多方面。在人工智能領(lǐng)域，臨界狀態(tài)的框架被用于分析和指導(dǎo)深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)和權(quán)重初始化，表明運(yùn)行接近臨界狀態(tài)可被視為神經(jīng)網(wǎng)絡(luò)計(jì)算的基本原則之一。
在統(tǒng)計(jì)物理學(xué)中，一個(gè)具有相同物理和化學(xué)特性的材料系統(tǒng)中的均質(zhì)狀態(tài)被稱為相（phase）。例如，水可以處于固相、液相或氣相。當(dāng)溫度變化時(shí)，水可以從一個(gè)相變?yōu)榱硪粋€(gè)相，這被稱為相變（phase transition）。臨界狀態(tài)表明系統(tǒng)正在從有序相向無序相轉(zhuǎn)變。在有序和無序的邊緣，或者稱為“混沌邊緣”，臨界狀態(tài)表現(xiàn)出許多特殊的屬性。
?圖 2：蒙特卡洛模擬伊辛模型。圖源：參考文獻(xiàn)9
圖2通過伊辛模型的模擬展示了鐵磁材料的相變過程和臨界狀態(tài)9。在伊辛模型中，自旋相互作用和熱運(yùn)動(dòng)的競(jìng)爭(zhēng)導(dǎo)致了有序相和無序相。圖2a和2c分別顯示了低溫下的有序相和高溫下的無序相。在相變邊緣的溫度下，如圖2b所示，有序和無序處于平衡狀態(tài)，兩者都無法主導(dǎo)整個(gè)系統(tǒng)。在這個(gè)溫度下，系統(tǒng)變得極其復(fù)雜，處于所謂的臨界狀態(tài)。
在有序相或無序相中，領(lǐng)域大小的分布集中在較大或較小的尺寸上，而在臨界狀態(tài)下，領(lǐng)域大小幾乎分布在所有尺寸上。而且不同尺度上的分布是自相似的，這意味著這些分布是分形和無標(biāo)度的。這種自相似分布在數(shù)學(xué)上可形式化為冪律（power law）10：
。如果使用對(duì)數(shù)-對(duì)數(shù)坐標(biāo)系，分布將呈現(xiàn)為一條直線。冪律分布是臨界狀態(tài)的一個(gè)重要特征。
除了通過精確調(diào)節(jié)伊辛模型中的溫度或其他系統(tǒng)中的控制參數(shù)來達(dá)到臨界狀態(tài)外，有些系統(tǒng)還能自發(fā)地達(dá)到臨界狀態(tài)，這被稱為自組織臨界性（self-organized criticality，SOC）。在過去的二十年中，通過記錄體外培養(yǎng)的腦組織或體內(nèi)完整大腦的神經(jīng)元活動(dòng)，許多實(shí)驗(yàn)表明大腦皮層網(wǎng)絡(luò)也能夠自組織成臨界狀態(tài)。
在大腦的皮層網(wǎng)絡(luò)中，每個(gè)神經(jīng)元通過突觸連接接收來自大量周圍神經(jīng)元的輸入。當(dāng)輸入達(dá)到其閾值時(shí)，將產(chǎn)生動(dòng)作電位，該電位將傳遞給其他神經(jīng)元，導(dǎo)致其他神經(jīng)元發(fā)放動(dòng)作電位。Beggs和Plenz通過多電極陣列記錄大腦組織的活動(dòng)首次確認(rèn)了關(guān)于臨界大腦的猜測(cè)11。他們發(fā)現(xiàn)神經(jīng)元雪崩的大小和持續(xù)時(shí)間都服從冪律分布，這是臨界狀態(tài)的一個(gè)重要特征。隨后，其他研究人員記錄了不同物種的不同腦皮層在清醒和麻醉狀態(tài)下的神經(jīng)元活動(dòng)，都再次證實(shí)了在網(wǎng)絡(luò)的自發(fā)活動(dòng)中神經(jīng)元雪崩呈冪律分布12。這表明，大腦網(wǎng)絡(luò)在臨界狀態(tài)附近運(yùn)行是一個(gè)普遍特征，而興奮性和抑制性的平衡在維持臨界狀態(tài)方面起著關(guān)鍵作用。
鑒于臨界狀態(tài)在包括神經(jīng)系統(tǒng)在內(nèi)的許多復(fù)雜系統(tǒng)分析中的成功應(yīng)用，一些研究人員還嘗試將臨界狀態(tài)應(yīng)用于研究人工神經(jīng)網(wǎng)絡(luò)，例如，改進(jìn)儲(chǔ)層計(jì)算和增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的性能。
儲(chǔ)層計(jì)算（reservoir computing，RC）通常指的是遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）的一種特殊計(jì)算框架，其中可訓(xùn)練的參數(shù)僅存在于最終的輸出層，即非遞歸的輸出層，而所有其他參數(shù)則是隨機(jī)初始化并在后續(xù)計(jì)算中保持固定狀態(tài)。目前，RC模型已成功應(yīng)用于許多計(jì)算問題，例如時(shí)序模式分類、識(shí)別、預(yù)測(cè)和動(dòng)作序列控制等任務(wù)。RC模型僅在網(wǎng)絡(luò)處于臨界狀態(tài)時(shí)表現(xiàn)良好，有時(shí)也被稱為“回聲狀態(tài)（echo state）”。受生物神經(jīng)網(wǎng)絡(luò)中的短時(shí)突觸可塑性（short-term synaptic plasticity，STP）的啟發(fā)，曾冠雄等人在RC模型中實(shí)現(xiàn)了一種SOC方案，通過短時(shí)抑制（short-term depression，STD）來調(diào)整RNN的狀態(tài)，使其接近臨界狀態(tài)13。STD大大增強(qiáng)了神經(jīng)網(wǎng)絡(luò)的穩(wěn)健性，使其能夠適應(yīng)長(zhǎng)期的突觸變化，同時(shí)保持由臨界狀態(tài)賦予的最佳性能。它還提示了大腦在不同時(shí)間尺度上組織可塑性的潛在機(jī)制，在允許用于學(xué)習(xí)和記憶所需的內(nèi)部結(jié)構(gòu)變化的同時(shí)，維持信息處理的最佳狀態(tài)（臨界狀態(tài)）。
除此之外，臨界狀態(tài)對(duì)于增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的性能也有啟示作用。深度神經(jīng)網(wǎng)絡(luò)相較于淺層網(wǎng)絡(luò)取得了巨大的成功。為了在理論上解釋這一現(xiàn)象，Poole等人將黎曼幾何與高維混沌的均場(chǎng)理論相結(jié)合，揭示出深度隨機(jī)網(wǎng)絡(luò)中逐漸增加的深度與混沌狀態(tài)（臨界狀態(tài)）的瞬時(shí)變化之間存在指數(shù)級(jí)表達(dá)能力的關(guān)系14。此外，他們證明這個(gè)特性在淺層網(wǎng)絡(luò)中是不存在的。這一發(fā)現(xiàn)對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)具有重要意義，為現(xiàn)有深度神經(jīng)網(wǎng)絡(luò)的卓越性能提供了理論基礎(chǔ)。但是，目前關(guān)于臨界狀態(tài)是否總是有益的問題仍然是一個(gè)未解之謎。
臨界狀態(tài)為人們研究生物和人工神經(jīng)網(wǎng)絡(luò)提供了一種全新的視角。目前，臨界性的框架不僅被用于理解神經(jīng)動(dòng)態(tài)和腦部疾病，還被用于分析深度神經(jīng)網(wǎng)絡(luò)的運(yùn)行并指導(dǎo)進(jìn)一步的改進(jìn)設(shè)計(jì)。在更好地理解應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的約束條件，以及設(shè)計(jì)更好的體系結(jié)構(gòu)和動(dòng)態(tài)規(guī)則來提高人工神經(jīng)網(wǎng)絡(luò)在復(fù)雜信息處理中的性能方面，臨界性的框架將發(fā)揮更加重要的作用。
未完待續(xù)......
參考文獻(xiàn)：
聯(lián)系客服
