2019年3月27日，ACM 正式宣布將 2018 年圖靈獎授予 Yoshua Bengio, Geoffrey Hinton 和 Yann LeCun，以表彰他們提出的概念和工作使得深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)有了重大突破，如今神經(jīng)網(wǎng)絡(luò)已經(jīng)成為計算領(lǐng)域的重要組成部分。他們將于2019年6月15日在加利福尼亞州舊金山舉行的 ACM 年度頒獎晚宴上正式收到 2018 年 ACM 圖靈獎。
從左到右：Yann LeCun, Geoff Hinton 和 Yoshua Bengio
神經(jīng)網(wǎng)絡(luò)指的是一種模型結(jié)構(gòu)，它仿造生物的神經(jīng)元（neuron）構(gòu)造，可讓計算機(jī)獲得一定的感知與認(rèn)知的能力。計算機(jī)通過對數(shù)據(jù)進(jìn)行學(xué)習(xí)，改變神經(jīng)元的參數(shù)大小或是激活神經(jīng)元，以不斷地接近人類智能。同時，依托現(xiàn)代計算機(jī)硬件的支持，這個學(xué)習(xí)過程比人類要快許多。AlphaGo通過大量的訓(xùn)練，在幾個月內(nèi)就能擊敗人類棋手，足以說明神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率。
神經(jīng)網(wǎng)絡(luò)的誕生并不是人們憑空想象出來的。它的起源依托于人們對智能的定義。在認(rèn)知科學(xué)中有三個主要的理論學(xué)派，支持著智能基礎(chǔ)，它們分別是符號主義、行為主義和連接主義。
符號主義認(rèn)為人工智能源于數(shù)理邏輯；行為主義認(rèn)為人工智能可用控制論的理論基礎(chǔ)進(jìn)行實現(xiàn)；連接主義源于仿生學(xué)，特別是對人腦模型的研究。
2018圖靈獎的三位獲獎人是人工智能連接主義學(xué)派的主要代表人，當(dāng)今人工智能的發(fā)展與突破也是連接主義學(xué)派的發(fā)展與突破。今天就和大家介紹連接主義的起源與盛行的故事。
連接主義學(xué)派的誕生，出現(xiàn)于人類對腦結(jié)構(gòu)與腦功能的研究到達(dá)了可具象化之后。它的代表性成果是1943年由生理學(xué)家麥卡洛克(McCulloch)和數(shù)理邏輯學(xué)家皮茨(Pitts)創(chuàng)立的腦模型，即MP模型，開創(chuàng)了用電子裝置模仿人腦結(jié)構(gòu)和功能的新途徑。這一實現(xiàn)真正的將神經(jīng)元結(jié)構(gòu)用于模型中。但超前的概念總不會讓人一下接受。其后的10年內(nèi)，連接主義學(xué)派還在醞釀和探索如何更好地表征神經(jīng)元，以及如何在計算機(jī)上實現(xiàn)他們。
連接主義消沉的這10年中，人工智能這一詞匯卻是真正出現(xiàn)了。但它的出現(xiàn)并不是連接主義學(xué)派的科學(xué)家們提出，而是符號主義學(xué)派首先提出。符號主義學(xué)者基于邏輯系統(tǒng)，在早期的計算機(jī)上具有方便實現(xiàn)的特點(diǎn)，首先將基于“規(guī)則”的演繹方法在計算機(jī)上實現(xiàn)，在上世紀(jì)50年代轟動一時。
符號主義雖然在當(dāng)時被廣泛認(rèn)可，但是人們對連接主義的研究依然沒有中斷。終于在上世紀(jì)50年代末，感知機(jī)（perceptron）的出現(xiàn)，使得連接主義出現(xiàn)第一次熱潮。感知機(jī)同樣是一種類腦模型，由Frank Rosenblatt于1957年提出，用來處理二分類的問題。
隨后的20年內(nèi)，感知機(jī)技術(shù)得到廣泛應(yīng)用，越來越多的人開始認(rèn)可感知機(jī)，并加大了連接主義學(xué)派下人工智能的研究。下圖為第一個實現(xiàn)的感知機(jī)算法模型。它的名字叫“Mark 1 perceptron”，是用來做圖片識別的一個大型機(jī)器。
雖說體積很大，但當(dāng)時的技術(shù)限制，它能處理的圖像大小非常有限。我們可以看到，圖中有圖像輸入，圖片的大小僅為20*20像素。右方是經(jīng)過感知機(jī)提取后的圖片特征向量。
盡管在算法層面，感知機(jī)模型已經(jīng)有了現(xiàn)代神經(jīng)網(wǎng)絡(luò)的雛形，但是由于硬件設(shè)備和模型理論等諸多限制，感知機(jī)模型在70年代末遇到了瓶頸，同時人們對連接主義的熱情也隨之減淡。連接主義的第一次熱潮就此結(jié)束。
連接主義與符號主義仿佛一對共生體，在一方陷入低潮時，另一方則令人矚目。80年代初，屬于符號主義的強(qiáng)盛時期，基于符號系統(tǒng)開發(fā)的專家系統(tǒng)與知識工程，被許多企業(yè)相中，并在此基礎(chǔ)上開展了很多項目。但人們馬上就發(fā)現(xiàn)了專家系統(tǒng)的不足：針對特定問題需要建立非常多的規(guī)則，并且模型不具備任何泛化能力，基于規(guī)則的系統(tǒng)也不能算作真正的智能系統(tǒng)。
神經(jīng)網(wǎng)絡(luò)模型可視化
就在人們對符號主義懷疑并且否定的同時，連接主義在理論與實踐基礎(chǔ)上均開始突破。這一次連接主義勢如破竹，引領(lǐng)了接下來人工智能的發(fā)展浪潮。
首先，Hopfield教授在1982年和1984年發(fā)表兩篇重要論文，提出用硬件模擬神經(jīng)網(wǎng)絡(luò)以后，連接主義才又重新抬頭。其后，1986年，Hinton等人提出多層網(wǎng)絡(luò)中的反向傳播算法(BP)算法 。80年代為連接主義日后井噴式的發(fā)展打下了基礎(chǔ)，從模型到算法，從理論分析到工程實現(xiàn)，都有極大的影響。
這里我們就不得不提到三位圖靈獎的獲獎人，也就是在這個時期，他們貢獻(xiàn)了很多神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)與實現(xiàn)方法。
Yann LeCun
1980年代，Yann LeCun發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)，現(xiàn)在已經(jīng)成為了機(jī)器學(xué)習(xí)領(lǐng)域的基礎(chǔ)技術(shù)之一 。1980年代末期，Yan LeCun在多倫多大學(xué)和貝爾實驗室工作期間，首次將卷積神經(jīng)網(wǎng)絡(luò)用于手寫數(shù)字識別。
Geoffrey Hinton
Hinton最重要的貢獻(xiàn)來自他1986年發(fā)明反向傳播的論文“Learning Internal Representations by Error Propagation”，1983年發(fā)明的玻爾茲曼機(jī)（Boltzmann Machines）。他還有一項貢獻(xiàn)是與他的學(xué)生Alex Krizhevsky改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)，并在2012年的ImageNet比賽中，取得質(zhì)的飛躍，從此深度學(xué)習(xí)才成為世界熱點(diǎn)，越來越多的學(xué)者投身其中。
Yoshua Bengio
Bengio的貢獻(xiàn)主要在1990年代發(fā)明的Probabilistic models of sequences。他把神經(jīng)網(wǎng)絡(luò)和概率模型（例如隱馬爾可夫模型）結(jié)合在一起，并和AT&T公司合作，用新技術(shù)識別手寫的支票。
基于連接主義的神經(jīng)網(wǎng)絡(luò)，以及基于神經(jīng)網(wǎng)絡(luò)的人工智能離不開80、90年代科學(xué)家們的理論基礎(chǔ)，尤其是通用逼近定理的建立，揭示了神經(jīng)網(wǎng)絡(luò)的巨大表示能力。同時我們也必須承認(rèn)，連接主義能有今天的成績，也離不開硬件水平的不斷提高。
1999年8月，NVIDIA公司發(fā)布了一款代號為NV10的圖形芯片Geforce 256。這是第一款提出GPU概念的產(chǎn)品。GPU極大提升神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，尤其對矩陣運(yùn)算的效率提升尤為明顯。硬件的發(fā)展使研究人員更快的得到神經(jīng)網(wǎng)路的實驗結(jié)果，不僅加速了連接主義的理論發(fā)展，也為商用落地場景下的人工智能模型提供了支持。
連接主義學(xué)派雖然推動人工智能走向今天的高度，但我們依然離真正的智能還有距離。連接主義下的神經(jīng)網(wǎng)絡(luò)模型，在感知領(lǐng)域已經(jīng)發(fā)展到了人類水平，但在認(rèn)知領(lǐng)域還未有所突破。所謂認(rèn)知領(lǐng)域，是指計算機(jī)能夠通過自我分析，并結(jié)合各種感知因素，“主動推斷”出結(jié)果。目前的神經(jīng)網(wǎng)絡(luò)模擬神經(jīng)元的感知層面，能優(yōu)秀地完成“識別”任務(wù)，但對“推理”任務(wù)的表現(xiàn)還遠(yuǎn)遠(yuǎn)不足。連接主義學(xué)派也需要結(jié)合其他學(xué)派所長，繼續(xù)推動人工智能發(fā)展。
就如同AlphaGo結(jié)合了連接主義與行為主義的兩家學(xué)派所長，在貝爾曼方程的基礎(chǔ)上加入了深度學(xué)習(xí)，使計算機(jī)打敗了很多人類最優(yōu)秀的圍棋選手。我們也期待連接主義結(jié)合符號主義，使計算機(jī)具有認(rèn)知計算的能力，能夠自主推理，輔助人類決策。我們也希望未來集合三家學(xué)派所長，讓計算機(jī)同時具備感知、認(rèn)知、元學(xué)習(xí)等能力，構(gòu)建真正的通用人工智能。
- DataCastle -
聯(lián)系客服
