7月28-29日，由中國(guó)人工智能學(xué)會(huì)和深圳市羅湖區(qū)人民政府共同主辦，馬上科普承辦的“2018 中國(guó)人工智能大會(huì)（CCAI 2018）”完美收官。
大會(huì)第二天下午，中科院神經(jīng)科學(xué)所所長(zhǎng)，中國(guó)科學(xué)院院士，美國(guó)國(guó)家科學(xué)院院士蒲慕明作題為《腦科學(xué)與類腦機(jī)器學(xué)習(xí)》的主題演講。
以下是根據(jù)速記整理的大會(huì)講座實(shí)錄。
蒲慕明 中科院神經(jīng)科學(xué)所所長(zhǎng)，中國(guó)科學(xué)院院士，美國(guó)國(guó)家科學(xué)院院士
在近代神經(jīng)生物學(xué)上和腦科學(xué)上，最大的進(jìn)展就是：在19世紀(jì)中后期，法國(guó)醫(yī)生和科學(xué)家波卡（Broca）通過解剖失語(yǔ)癥病人，發(fā)現(xiàn)了Broca區(qū)。他是第一個(gè)給大腦功能定位的科學(xué)家。從他開始，腦科學(xué)家們逐漸認(rèn)識(shí)到不同腦區(qū)主管不同的功能。同時(shí)，各個(gè)腦區(qū)之間有高度的聯(lián)接，特別是側(cè)向聯(lián)接。高度的橫向連接在處理多感覺信息整合時(shí)具有優(yōu)勢(shì)。這也正是人工智能做多模態(tài)整合時(shí)需要解決的問題。
20世紀(jì)腦科學(xué)進(jìn)展主要是對(duì)于神經(jīng)元如何編碼、儲(chǔ)存和提取神經(jīng)信息的理解比較清楚。從20世紀(jì)初期到21世紀(jì)初，與神經(jīng)科學(xué)相關(guān)的諾貝爾獎(jiǎng)得主都是在解決神經(jīng)元如何編碼、存儲(chǔ)和提取信息的，都是在細(xì)胞水平而不是網(wǎng)絡(luò)水平進(jìn)行研究。
神經(jīng)細(xì)胞都有局部環(huán)路和長(zhǎng)程環(huán)路。一個(gè)功能的出現(xiàn)，必須要求神經(jīng)元環(huán)路中神經(jīng)元在適當(dāng)?shù)臅r(shí)候放電。腦網(wǎng)絡(luò)如何產(chǎn)生諸如知覺、情緒、思維、抉擇、語(yǔ)言等高等腦認(rèn)知功能？我們對(duì)此理解極為粗淺。
現(xiàn)在說起來腦科學(xué)的進(jìn)展，打一個(gè)比喻，相當(dāng)于物理學(xué)、化學(xué)在19世紀(jì)末和20世紀(jì)初的狀態(tài)，新的理論和關(guān)鍵技術(shù)還沒有出現(xiàn)的時(shí)候，這是腦科學(xué)現(xiàn)在的狀態(tài)。我們不要對(duì)腦科學(xué)有過度樂觀的期待。
歷史上人工智能出現(xiàn)了三次浪潮，每次往上的推動(dòng)都是從神經(jīng)科學(xué)里得到的啟發(fā)。例如，McCulloch和Pitts在1943年提出MP神經(jīng)元模型，以及80年代Hopfield算法、BP算法。最近的深度網(wǎng)絡(luò)學(xué)習(xí)，它包括多個(gè)層次，每個(gè)層次具有不同的功能，這也是從視覺系統(tǒng)得到的啟發(fā)。
第一個(gè)是宏觀層次。通過核磁成像的技術(shù)可以得到粗略的神經(jīng)束的走向，但單單只了解神經(jīng)束的走向?qū)τ诶斫饽X功能并沒有太大貢獻(xiàn)。我們要進(jìn)一步了解大腦必須要達(dá)到神經(jīng)元水平。第二個(gè)就是介觀層面，空間分辨率要達(dá)到微米。用特殊方法來標(biāo)記不同的神經(jīng)元種類，了解不同神經(jīng)元的功能。介觀神經(jīng)連接圖譜是目前神經(jīng)科學(xué)的主要方向。第三個(gè)是微觀層面，微米到納米尺度。在微觀層面對(duì)神經(jīng)元軸突和樹突的分布以及突觸產(chǎn)生規(guī)律的研究可以得到很多有用信息的。
所有神經(jīng)元是通過電信號(hào)來傳遞信息，但是電波不能直接傳到下一個(gè)細(xì)胞。突觸前的信號(hào)造成化學(xué)物質(zhì)的釋放，會(huì)由于釋放的化學(xué)物質(zhì)不同可以造成突觸后細(xì)胞的激活性或抑制性電信號(hào)反應(yīng)。這樣就大大增加了神經(jīng)網(wǎng)絡(luò)處理信息的能力。
第一個(gè)難點(diǎn)就是每一種腦功能都有大量神經(jīng)元集群參與，簡(jiǎn)單的視覺輸入就有百萬千萬的神經(jīng)元被激活。我們非常缺乏非干擾性大量觀測(cè)神經(jīng)元集群活動(dòng)的技術(shù)。美國(guó)腦計(jì)劃主要就是在開發(fā)腦研究新技術(shù)，新技術(shù)主要是觀測(cè)技術(shù)，還有能夠分析大量神經(jīng)元?jiǎng)討B(tài)信息的大數(shù)據(jù)分析方法。大數(shù)據(jù)分析不是盲目分析，我們需要有理論指導(dǎo)，用數(shù)據(jù)去檢測(cè)這個(gè)理論的準(zhǔn)確性。
可塑性是大腦認(rèn)知功能的基礎(chǔ)，可塑性使得大腦網(wǎng)絡(luò)形成新的狀態(tài)，就會(huì)產(chǎn)生新的行為。大腦是不斷在變的，每一個(gè)活動(dòng)都引起功能和結(jié)構(gòu)的變化。Hebb（DonaldHebb是加拿大的心理學(xué)家）認(rèn)為：同步的電活動(dòng)可造成突觸加強(qiáng)或穩(wěn)固。如果兩個(gè)神經(jīng)元同時(shí)發(fā)放，他們之間的突觸聯(lián)接就會(huì)加強(qiáng)；如果不同步，那么突觸前后的連接就會(huì)削弱。
可塑性的現(xiàn)象最早是由中國(guó)科學(xué)家馮德培發(fā)現(xiàn)。馮德培在英國(guó)拿到博士學(xué)位回國(guó)之后，在協(xié)和的生理系建立了實(shí)驗(yàn)室，專門研究神經(jīng)肌肉接頭的功能。1946年，在他的系列論文的26篇中報(bào)告了一個(gè)現(xiàn)象：在神經(jīng)肌肉接頭的突觸，通過高頻的刺激，可以引起突觸后肌肉電活動(dòng)的加強(qiáng)，這個(gè)加強(qiáng)長(zhǎng)達(dá)十分鐘之久。突觸的效率因?yàn)殡娀顒?dòng)而改變，很快的幾秒鐘高頻刺激，產(chǎn)生的后果是十幾分鐘的突觸增強(qiáng)，這就是可塑性。馮德培1941年發(fā)現(xiàn)的現(xiàn)象，是可以拿諾貝爾獎(jiǎng)的，但是馮德培先生90年代過世了。到20世紀(jì)70年代，人們才在中樞神經(jīng)系統(tǒng)中發(fā)現(xiàn)了類似的現(xiàn)象，被稱為長(zhǎng)時(shí)程增強(qiáng)（LTP）和長(zhǎng)時(shí)程減弱（LTD）。電活動(dòng)過后，在腦網(wǎng)絡(luò)里留下了長(zhǎng)期的痕跡，就是記憶，記憶就是儲(chǔ)存在神經(jīng)傳遞的效率變化之上。
突觸可塑性除了突觸效率的改變，還有突觸結(jié)構(gòu)的變化。為什么軸突不直接把信息送到樹突上而是傳遞到樹突棘上呢？其中原因一直沒有人知道。在耶魯大學(xué)做教授的時(shí)候，張香桐提出了一個(gè)假說：樹突棘（微小的突起）可以作為調(diào)節(jié)突觸傳遞效率的結(jié)構(gòu)。現(xiàn)在，學(xué)界公認(rèn)樹突棘可以作為調(diào)節(jié)突觸權(quán)重的結(jié)構(gòu)。
赫伯認(rèn)為改變連接強(qiáng)度就是儲(chǔ)存記憶——記憶儲(chǔ)存在網(wǎng)絡(luò)中，并不由單獨(dú)的位置儲(chǔ)存；把已經(jīng)儲(chǔ)存記憶的細(xì)胞群再激活，電活動(dòng)再出現(xiàn)，記憶就會(huì)被提取。比如說我們從小時(shí)候開始，祖母面孔就不斷的激活我們的細(xì)胞，眼睛、嘴巴、鼻子等都會(huì)特定激活一群細(xì)胞，整個(gè)大細(xì)胞集群在祖母面孔出現(xiàn)時(shí)候集體放電。通過這個(gè)超級(jí)赫伯細(xì)胞群，我們長(zhǎng)大了以后，只要看到祖母的眼睛，部分的細(xì)胞群激活了，就可以喚起祖母面孔的記憶。
赫伯細(xì)胞集群假說可以做進(jìn)一步補(bǔ)充。祖母是一個(gè)概念，這個(gè)概念包含了她的面孔，還包含了聲音、唱的歌、名字，我看到這些所有的特征，任何其中一個(gè)特征，都可以換起對(duì)整個(gè)祖母全部特征的反映。這個(gè)概念是一個(gè)超級(jí)超級(jí)細(xì)胞群，她唱的歌也許儲(chǔ)存在聽覺區(qū)，她的面孔在視覺區(qū)，味道在嗅覺區(qū)，這些信息在跟祖母相關(guān)的事情出現(xiàn)的時(shí)候，都會(huì)同步被激活。這是一種多腦區(qū)同步放電活動(dòng)，是一種超級(jí)超級(jí)赫伯細(xì)胞群的放電。
各種信息如何整合產(chǎn)生一個(gè)整體？多年來流行的假說就是聚合型假說：各個(gè)組成的成分都在放電，它們都通過軸突輸入到另一個(gè)神經(jīng)元，該神經(jīng)元同時(shí)收到各個(gè)組合成分的神經(jīng)元信號(hào)，同時(shí)整合了這個(gè)信息。人們最早是在視皮層發(fā)現(xiàn)證據(jù)（這是Hubel和Wiesel得諾貝爾獎(jiǎng)的工作）。在視皮層或者視網(wǎng)膜上能夠引起神經(jīng)元活動(dòng)的區(qū)域我們稱為視覺感受野。從丘腦里面細(xì)胞的點(diǎn)狀感受野到視皮層整合成線狀。由點(diǎn)到線的整合就是一種信息捆綁。然而，還有其他的可能性，例如同步放電模型：各種組合成分的神經(jīng)元在某一信息出現(xiàn)后就一起放電，同步電活動(dòng)本身活動(dòng)就代表了整合信息。
在發(fā)育過程中，一個(gè)月的嬰兒并沒有什么網(wǎng)絡(luò)，在兩歲、三歲之間會(huì)生成很多的樹突和軸突，從而形成非常復(fù)雜的網(wǎng)絡(luò)。這是非常令人吃驚的現(xiàn)象，這就說明神經(jīng)元的基本結(jié)構(gòu)是基因決定的，但是網(wǎng)絡(luò)是在出生以后才建立的，出生以后是各種各樣的學(xué)習(xí)、經(jīng)驗(yàn)在起作用。早期的修剪過程是非常重要的，早期修剪的太少可能是自閉癥，過多可能是精神分裂癥，所以網(wǎng)絡(luò)的修剪是正常網(wǎng)絡(luò)形成必要的一環(huán)，修剪不好就造成疾病。
突觸儲(chǔ)存記憶有兩種儲(chǔ)存方式：一種是改變突觸權(quán)重；另一種是突觸連接結(jié)構(gòu)的修飾——新的連接形成，原有連接的改變。大腦在發(fā)育期與成年期有不同的可塑性，大腦發(fā)育期有大幅度的神經(jīng)結(jié)構(gòu)修剪，使得新的突觸產(chǎn)生，經(jīng)驗(yàn)是主導(dǎo)網(wǎng)絡(luò)修剪的主要因素；成熟大腦神經(jīng)網(wǎng)絡(luò)只有有限的可塑性，是在原有的突觸上增加一點(diǎn)效率，這是經(jīng)驗(yàn)和記憶所必需的。每個(gè)人的網(wǎng)絡(luò)都不一樣，每個(gè)人的性格都不一樣，這是因?yàn)槲覀兠總€(gè)人的經(jīng)驗(yàn)都不一樣，所以我們處理信息的方式都不一樣，這就是成熟網(wǎng)絡(luò)的表現(xiàn)。
赫伯認(rèn)為同時(shí)放電的神經(jīng)元連在一起，不同步放電就網(wǎng)絡(luò)連接，但是20年前出現(xiàn)了新的轉(zhuǎn)折——強(qiáng)化或者弱化不只是同步，而且有時(shí)序性。突觸前放電先于突觸后放電，突觸強(qiáng)化，反過來就弱化，這種有時(shí)序信息的現(xiàn)象我們稱為時(shí)序信息依賴的可塑性（STDP）?，F(xiàn)在已經(jīng)有人在人工網(wǎng)絡(luò)上運(yùn)用STDP。
我們可以做一個(gè)簡(jiǎn)單的游戲，把貝多芬的《致愛麗斯》正序彈奏每個(gè)人都會(huì)聽出來，反過來彈卻沒人會(huì)聽出來是什么曲子，這是因?yàn)橛洃浭怯袝r(shí)序性的。
Hopfield人工神經(jīng)網(wǎng)絡(luò)，每一個(gè)突觸點(diǎn)賦予某一權(quán)重，單元將所有輸入加合，各突觸的權(quán)重可以用赫伯學(xué)習(xí)法則調(diào)節(jié)。BP（反向傳播）算法可以用來學(xué)習(xí)說話，F(xiàn)rancisCrick對(duì)此作出了高度評(píng)價(jià)，在“The recent excitement about neural networks”文章中認(rèn)為BP算法非常驚人，但是也提出大腦中似乎沒有這種機(jī)制，大腦的是軸突的信息送到樹突的單向過程，而沒有反饋信息。幾年以后，我們通過記錄多個(gè)神經(jīng)元來驗(yàn)證這種說法是否真實(shí)。我們發(fā)現(xiàn)突觸前神經(jīng)元內(nèi)存在逆向傳播和側(cè)向傳播，突觸后只有側(cè)向傳播，沒有前向傳播。軸突終端產(chǎn)生的LTP可以在突觸前神經(jīng)元往回傳，但不能往在突觸后往前傳，我們稱這種現(xiàn)象叫做naturalBP。現(xiàn)在在自動(dòng)化所，我們將natural BP應(yīng)用到人工神經(jīng)網(wǎng)絡(luò)上面，希望對(duì)非監(jiān)督或者半監(jiān)督學(xué)習(xí)有點(diǎn)幫助。
1.可借鑒的自然神經(jīng)網(wǎng)絡(luò)特性
(1)神經(jīng)元的種類
興奮性和抑制性神經(jīng)元活動(dòng)的平衡是正常網(wǎng)絡(luò)功能所必要的。
①突觸延遲（synaptic delay）在神經(jīng)環(huán)路中起關(guān)鍵作用。
②抑制性中間神經(jīng)元通常出現(xiàn)在興奮性輸入之后，可防止神經(jīng)元過度興奮，可消除脈沖序列（spiketrain）的尾巴以提高信息的時(shí)間精確度（temporal precision），可通過抑制旁側(cè)的神經(jīng)元的興奮性以增加對(duì)比信息的空間精確度（spatialprecision）。
(2). 多方向（順向、逆向、側(cè)向）的神經(jīng)連接
連接不只有一個(gè)方向，大多數(shù)的連接是正向的，也有逆向的，也有側(cè)向的，而且興奮性和抑制性神經(jīng)元都有多方向的聯(lián)接，而且是有空間和神經(jīng)元種類特異性的聯(lián)接。
(3).神經(jīng)突觸的可塑性
①突觸的功能有可塑性：傳遞效率的增強(qiáng)與消弱(LTP/LTD)； 可依賴于突觸前后神經(jīng)元同步電活動(dòng)的頻率，也可依賴于突觸前后神經(jīng)元電活動(dòng)時(shí)序(STDP)。
②突觸結(jié)構(gòu)可塑性：包括樹突棘的形態(tài)變化，和突觸的新生(formation)與修剪 (pruning）。
③突觸可塑性的傳播; LTP和LTD的有序傳播：包括逆向轉(zhuǎn)播（Back-Propagation），突觸效率可減弱也可增強(qiáng)，和側(cè)向傳播（LateralPropagation）有選擇性地在突觸前和突觸后傳播。
(4).記憶的儲(chǔ)存、提取與消退
理解記憶不應(yīng)只關(guān)注儲(chǔ)存問題，還有記憶消退問題， 消退的意義可能比儲(chǔ)存還要更重要。
①記憶的儲(chǔ)存：網(wǎng)絡(luò)中特定突觸群的效率與結(jié)構(gòu)修飾。
②記憶的遺忘：突觸功能與結(jié)構(gòu)修飾會(huì)隨時(shí)間消退。
③短期記憶轉(zhuǎn)化為長(zhǎng)期記憶：有規(guī)則重復(fù)的重要性。
④記憶提?。弘娀顒?dòng)的再現(xiàn)于儲(chǔ)存記憶的突觸群。
⑤強(qiáng)化學(xué)習(xí)：依據(jù)輸出的結(jié)果對(duì)學(xué)習(xí)相關(guān)突觸群的修飾, 調(diào)質(zhì)神經(jīng)元在修飾中的作用。
(5).赫伯神經(jīng)元集群概念的應(yīng)用
①使用嵌套式集群來組成多成分、多模態(tài)的信息。
②不同模態(tài)的信息在網(wǎng)絡(luò)的不同區(qū)域處理時(shí)，可通過側(cè)向連接進(jìn)行交互影響。
③可使用同步或有相差的電活動(dòng)來捆綁不同區(qū)的神經(jīng)集群。
④輸入信息的拓?fù)浣Y(jié)構(gòu)在傳輸過程中的不同層面有所保存。
2.對(duì)人工神經(jīng)網(wǎng)絡(luò)/機(jī)器學(xué)習(xí)的建議
一是“擺脫”深度學(xué)習(xí)網(wǎng)絡(luò)的誘惑。
二是建立全新的人工網(wǎng)絡(luò)架構(gòu)和算法，目標(biāo)是高效、節(jié)能、無監(jiān)督或者半監(jiān)督學(xué)習(xí)。
三是以脈沖神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，加入傳遞延遲。每一個(gè)突觸傳遞都有一個(gè)時(shí)間延遲，這是很多網(wǎng)絡(luò)處理信息的關(guān)鍵。
四是從簡(jiǎn)單網(wǎng)絡(luò)為基礎(chǔ)，每次加入一個(gè)自然神經(jīng)網(wǎng)絡(luò)的特性，檢測(cè)其效能，然后逐步完善。
聯(lián)系客服
