高度并行性怎樣讓大腦比AI更勝一籌。
大腦是復(fù)雜的,每個人類大腦包含約1000億個神經(jīng)元,能產(chǎn)生100多萬億個連接,常被拿來和另一個復(fù)雜系統(tǒng)做比較:電子計(jì)算機(jī)。它們都具有強(qiáng)大的問題處理能力,都包含大量基本單元——分別是神經(jīng)元和晶體管,這些基本單元都相連成復(fù)雜的環(huán)路,處理以電信號形式傳輸?shù)男畔ⅰUw上看,人腦和計(jì)算機(jī)也有著相似的架構(gòu):用于輸入、輸出、中央處理和記憶存儲的環(huán)路可以被大致區(qū)分開,又能協(xié)同工作。[1]
它們誰處理問題的能力更強(qiáng)?人腦還是計(jì)算機(jī)?考慮到過去幾十年計(jì)算機(jī)技術(shù)發(fā)展之快,你可能會覺得答案是計(jì)算機(jī)。的確,通過適當(dāng)?shù)慕M裝構(gòu)建和編程,計(jì)算機(jī)已經(jīng)能在復(fù)雜游戲中打敗人類頂尖高手了:上世紀(jì)90年代它打敗了國際象棋世界冠軍,最近Alpha Go打敗了圍棋頂尖高手,還有百科知識競賽電視節(jié)目《危險(xiǎn)邊緣》(Jeopardy?。┲袡C(jī)器人也獲得了勝利。然而,在我落筆之際,人類仍然能在眾多日常任務(wù)中更勝一籌——例如在擁擠的城市街道上認(rèn)出一輛自行車或一個特定的人,例如舉起茶杯將它平穩(wěn)地移到嘴邊 ——更不用說大腦的概念化能力和創(chuàng)造力。
所以為什么計(jì)算機(jī)擅長完成某類任務(wù),而人腦在其他方面更為優(yōu)秀?計(jì)算機(jī)工程師和神經(jīng)科學(xué)家都曾從計(jì)算機(jī)和人腦的對比分析中得到過啟示。這種對比最早可以追溯到現(xiàn)代計(jì)算機(jī)時代早期一本簡短卻影響深遠(yuǎn)的書:《計(jì)算機(jī)與人類大腦》(The Computer and the Brain),它的作者,博學(xué)家約翰·馮·諾伊曼(John von Neumann)在20世紀(jì)40年代開創(chuàng)的計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)至今仍是大多數(shù)現(xiàn)代計(jì)算機(jī)的基礎(chǔ)。[2]
我們來看看數(shù)字上的比較(表1)。
性能指標(biāo)
計(jì)算機(jī)
人類大腦
基本單元數(shù)量
接近100億個晶體管
~1000億個神經(jīng)元
~100萬億個突觸
基本運(yùn)算速度
100億/秒
<1000>
精度
~1/42億(對于32位處理器)
~1/100
功耗
~100瓦
~10瓦
信息處理模式
基本是串行
串行以及大規(guī)模并行
每個單元的輸入/輸出
1-3
~1000
信號模式
數(shù)字
數(shù)字和模擬
表1
a.)基于2008年的電腦數(shù)據(jù)
b.)在過去幾十年里每個集成電路的晶體管的數(shù)量每18-24個月就會翻一番(摩爾定律),近些年由于能量消耗和熱散逸,晶體管的數(shù)量增長有所放緩。
參考:John von Neumann, The Computer and the Brain (New Haven: Yale University Press, 2012); D.A Patterson and J.L. Hennessy, Computer Organization and Design(Amsterdam: Elsevier, 2012)
計(jì)算機(jī)在基本運(yùn)算速度方面有著人腦難以企及的巨大優(yōu)勢[3]?,F(xiàn)在的個人計(jì)算機(jī)可以以每秒100億次的速度執(zhí)行基本的算術(shù)運(yùn)算,比如加法。 我們也可以根據(jù)神經(jīng)元傳遞信息的基本過程和的通訊速度來估計(jì)大腦中基本運(yùn)算的速度。舉個例子,神經(jīng)元“激起”動作電位(action potential)被稱為“放電”,也就是在神經(jīng)元細(xì)胞胞體附近引發(fā)電信號的尖峰(spike),尖峰電位沿著稱為軸突(axon)的細(xì)胞突起傳遞,軸突末端又與下游神經(jīng)元相連。信息以這些尖峰的出現(xiàn)時間和出現(xiàn)頻率編碼。神經(jīng)元放電的頻率最高大約每秒1,000次。 再舉個例子,神經(jīng)元主要通過在軸突終端特定結(jié)構(gòu)——突觸(synapse)上釋放化學(xué)神經(jīng)遞質(zhì)來將信息傳遞給下游神經(jīng)元,后者將其重新轉(zhuǎn)換為電信號——這個過程我們稱之為突觸傳遞。突觸傳輸最快大約需要1毫秒。因此無論是尖峰還是突觸傳遞,大腦每秒最多可執(zhí)行大約1000次基本運(yùn)算,比計(jì)算機(jī)慢1000萬倍。[4]
計(jì)算機(jī)在基本運(yùn)算的精確度方面也占有巨大優(yōu)勢。計(jì)算機(jī)可以根據(jù)分配給每個數(shù)字的位(Binary digit,比特,二進(jìn)制數(shù)位,0和1)以期望的任何精度表示數(shù)量(數(shù)字)。比如,一個32位數(shù)字的精度可達(dá)2^32分之一,也就是40多億分之一。實(shí)驗(yàn)證據(jù)表明,由于生物噪聲,神經(jīng)系統(tǒng)中的大多數(shù)物理量,例如神經(jīng)元發(fā)放率(常被用來表征刺激強(qiáng)度),只存在幾個百分點(diǎn)的可變性,最好的情況下精確度能達(dá)到百分之一,僅是計(jì)算機(jī)的百萬分之一。
“
職業(yè)的網(wǎng)球運(yùn)動員可以追蹤以160英里/小時運(yùn)行的網(wǎng)球的運(yùn)動軌跡。
然而,大腦的計(jì)算表現(xiàn)既不算慢也不算壞。比如,一個職業(yè)的網(wǎng)球選手可以追蹤高達(dá)160英里/小時速度運(yùn)行的網(wǎng)球的運(yùn)動軌跡,移到球場最佳位置,揮動手臂,甩動球拍,將球擊回對面,一系列動作發(fā)生在幾百毫秒之間。此外,大腦完成所有這些任務(wù)(在其控制的身體的幫助下),功耗比計(jì)算機(jī)大約低十倍。大腦是怎么做到的?計(jì)算機(jī)和大腦之間的一個重要區(qū)別是每個系統(tǒng)內(nèi)部處理信息的模式。計(jì)算機(jī)任務(wù)主要以順序步驟執(zhí)行,這點(diǎn)我們可以從工程師創(chuàng)建順序指令流的編程方式中看出來。對于這種連續(xù)級聯(lián)運(yùn)算,每個步驟都需要高度精確,因?yàn)檎`差會在連續(xù)步驟中積累、放大。大腦也使用連續(xù)步驟來處理信息。在網(wǎng)球回?fù)舻睦又?,信息從眼睛傳向大腦,然后傳向脊髓,從而控制腿部、軀干、手臂和手腕的肌肉收縮。
但利用數(shù)量眾多的神經(jīng)元和每個神經(jīng)元發(fā)出的大量連接,大腦也同時采用大規(guī)模的并行處理。例如,移動的網(wǎng)球會激活視網(wǎng)膜中許多稱為光感受器的細(xì)胞,它的作用是將光轉(zhuǎn)換為電信號。這些信號隨之被并行傳送給視網(wǎng)膜中許多不同類型的神經(jīng)元。只消兩個至三個突觸傳遞的時間,球的位置、方向、速度的相關(guān)信息已經(jīng)被不同神經(jīng)環(huán)路提取,并平行地傳輸?shù)酱竽X。同樣地,運(yùn)動皮層(大腦中負(fù)責(zé)有意識運(yùn)動的部分)會發(fā)出平行的指令分別控制腿部、軀干、手臂和手腕的肌肉收縮,這樣身體和手臂能同時協(xié)調(diào),調(diào)整身體到接球的最佳姿勢。
這種大規(guī)模并行策略是是可行的,因?yàn)槊總€神經(jīng)元都從許多其他神經(jīng)元那兒輸入、輸出信息——一個哺乳動物神經(jīng)元平均有數(shù)以千計(jì)的輸入和輸出。相比之下,計(jì)算機(jī)每個晶體管僅有三個輸入和輸出節(jié)點(diǎn)。來自單個神經(jīng)元的信息可以被傳遞到許多并行的下游路徑。與此同時,許多處理相同信息的神經(jīng)元,可以將它們的輸入信息集中到相同的下游神經(jīng)元。后一種特性對于提高信息處理的精度特別有用。例如,由單個神經(jīng)元表示的信息可能是“嘈雜”的(比如說,精確度為1/100)。通過取平均值,下游的神經(jīng)元小伙伴通常能夠從100個輸入神經(jīng)元中提取更精確的信息(這種情況下,精確度能到千分之一) [6]。
計(jì)算機(jī)和大腦相比,基本單元的信號模式也有相同和不同之處。晶體管采用數(shù)字信號,使用離散值(0和1)來表示信息。神經(jīng)元軸突中的峰值也是一個數(shù)字信號,因?yàn)樯窠?jīng)元在任何時間要么處于尖峰狀態(tài),要么處于非激活狀態(tài)。當(dāng)神經(jīng)元被激活時,所有尖峰都是差不多相同大小、形狀,這一特性有助于實(shí)現(xiàn)可靠的遠(yuǎn)距離尖峰傳播。不過,神經(jīng)元也利用模擬信號,它使用連續(xù)的值來表示信息。一些神經(jīng)元(像我們視網(wǎng)膜中的大多數(shù)神經(jīng)元)是無尖峰的,它們的輸出通過分級的電信號傳輸?shù)模ㄅc尖峰信號不同,它的大小可以連續(xù)變化),可傳輸比尖峰信號更多的信息。[7]
“
你的大腦比計(jì)算機(jī)慢1000萬倍。
回?fù)艟W(wǎng)球的例子還彰顯了大腦另一個顯著特點(diǎn):它可以基于當(dāng)前狀態(tài)和歷史經(jīng)驗(yàn),修改神經(jīng)元之間的連接強(qiáng)度——神經(jīng)科學(xué)家們普遍認(rèn)為,這是學(xué)習(xí)與記憶的基礎(chǔ)。重復(fù)的訓(xùn)練能使神經(jīng)元環(huán)路為任務(wù)優(yōu)化其連接方式,從而大幅提高速度與精確度。
在過去的幾十年里,工程師不斷受大腦啟發(fā)來改進(jìn)計(jì)算機(jī)設(shè)計(jì)。并行處理的原則,還有根據(jù)使用情況調(diào)整連接強(qiáng)度,都被納入了現(xiàn)代計(jì)算機(jī)。比如,增加并行性,即在單個計(jì)算機(jī)中使用多個核心處理器,已經(jīng)是當(dāng)前計(jì)算機(jī)設(shè)計(jì)的趨勢。又比如,機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的“深度學(xué)習(xí)”,近年來取得了巨大的成功,計(jì)算機(jī)和移動設(shè)備中的物體識別和語音識別方面的迅速進(jìn)展都得益于它,其就是受到了哺乳動物視覺系統(tǒng)的啟發(fā)[8]。和哺乳動物的視覺系統(tǒng)一樣,深度學(xué)習(xí)采用越來越深的層次來表示越來越抽象的特征(比如視覺目標(biāo)或者言語),不同層次之間的連接權(quán)重也通過機(jī)器學(xué)習(xí)動態(tài)調(diào)整,而不是由工程師手工設(shè)計(jì)。這些最新進(jìn)展已經(jīng)擴(kuò)展了計(jì)算機(jī)能夠執(zhí)行的任務(wù)的指令表。盡管如此,大腦還是比最先進(jìn)的計(jì)算機(jī)具有更高的靈活性、泛化與學(xué)習(xí)能力。
隨著神經(jīng)科學(xué)家發(fā)現(xiàn)越來越多關(guān)于大腦的秘密(在計(jì)算機(jī)更得力的輔助下),工程師可以從大腦的工作原理中獲得更多靈感,進(jìn)一步改善計(jì)算機(jī)的結(jié)構(gòu)和表現(xiàn)。最后,不管特定任務(wù)中誰將成為贏家,跨學(xué)科交融無疑會促進(jìn)神經(jīng)科學(xué)和計(jì)算機(jī)工程的發(fā)展。
關(guān)于作者:駱利群,斯坦福大學(xué)人文與科學(xué)學(xué)院教授,神經(jīng)生物學(xué)教授。本文發(fā)表于《智庫:四十位科學(xué)家探索人類經(jīng)驗(yàn)的生物根源》(Think Tank: Forty Scientists Explore the Biological Roots of Human Experience),由David J. Linden編輯,由耶魯大學(xué)出版社出版。
腳注:
1.This essay was adapted from a section in the introductory chapter of Luo, L. Principles of Neurobiology (Garland Science, New York, NY, 2015), with permission.
2. von Neumann, J. The Computer and the Brain (Yale University Press, New Haven, CT, 2012), 3rd ed.
3. Patterson, D.A. & Hennessy, J.L. Computer Organization and Design (Elsevier, Amsterdam, 2012), 4th ed.
4. 這里的假設(shè)是,算術(shù)運(yùn)算必須將輸入轉(zhuǎn)換為輸出,所以速度受到神經(jīng)元通訊的基本運(yùn)算(例如動作電位和突觸傳輸)的限制。這些限制也有例外。比如,具有電突觸的非尖峰神經(jīng)元(神經(jīng)元之間無需化學(xué)遞質(zhì)的連接)原則上可以傳輸比一毫秒左右限制更快的信息。運(yùn)算也可以在輸入端--樹突(dendrite)中就地發(fā)生。
噪聲(noise)反映了諸如神經(jīng)遞質(zhì)釋放等許多神經(jīng)生物學(xué)過程是概率性的。例如在重復(fù)試驗(yàn)中,面對相同的刺激,同一個神經(jīng)元可能會產(chǎn)生不同的發(fā)放模式。
6.假設(shè)每個輸入的平均值標(biāo)準(zhǔn)誤差(σmean)接近噪聲(它反映了分布的寬度,和平均值單位相同)。對于n個獨(dú)立輸入的平均值,平均值預(yù)期的標(biāo)準(zhǔn)誤差為σmean=σ/√·n。在我們的例子中,σ= 0.01,n = 100;因此σmean= 0.001。
7.例如,樹突可以作為一致性探測器對來自臨近的許多不同上游神經(jīng)元的同步興奮性輸入進(jìn)行求和。他們也可以從興奮性輸入中減去抑制性輸入。某些樹突中電壓門控離子通道的存在使它們表現(xiàn)出“非線性”特性,例如將電信號放大,讓輸出比輸入簡單的相加要大。
8. LeCun, Y. Bengio, Y., & Hinton, G. Deep learning. Nature 521, 436–444 (2015).
聯(lián)系客服