紐約時間2019年3月27日,美國計算機協(xié)會(Association for Computing Machinery,簡稱 ACM)將2018年度的圖靈獎頒發(fā)給了Yoshua Bengio,Geoffrey Hinton和Yann LeCun。三人因為在深度學習領域的突破性研究,被稱為“深度學習三巨頭”。
Yoshua Bengio,Geoffrey Hinton和Yann LeCun,因為其在概念和工程方面的突破,使得深度神經(jīng)網(wǎng)絡成為計算領域的重要組成部分,評為2018年ACM AM圖靈獎的獲獎者。
Bengio:蒙特利爾大學教授,魁北克人工智能研究所Mila科學主任;
Hinton:Google的副總裁兼工程研究員,Vector Institute首席科學顧問,多倫多大學名譽教授;
LeCun:紐約大學的教授,F(xiàn)acebook的副總裁和首席AI科學家。
Hinton,LeCun和Bengio獨立工作,共同開發(fā)了深度學習領域的概念基礎,通過實驗確定了令人驚訝的現(xiàn)象,并貢獻了工程進展,證明了深度神經(jīng)網(wǎng)絡的實際優(yōu)勢。近年來,計算機視覺,語音識別,自然語言處理和機器人技術以及其他應用領域頻頻取得突破,深度學習方法是背后原因。
雖然早在20世紀80年代,學界就引入了人工神經(jīng)網(wǎng)絡,作為幫助計算機模式識別和模擬人類智能的工具,但到了21世紀初,LeCun,Hinton和Bengio仍然是堅持神經(jīng)網(wǎng)絡方法的少數(shù)人。雖然他們試圖重燃AI社區(qū)對神經(jīng)網(wǎng)絡興趣的努力最初曾遭受懷疑,但他們的想法近年來導引發(fā)了重大技術進步,他們的方法現(xiàn)在已成為人工智能領域的主流范例。
ACM AM圖靈獎,通常被稱為“計算機界的諾貝爾獎”,由Google提供資金支持,獎金為100萬美元。它以英國數(shù)學家Alan M. Turing的名字命名,圖靈發(fā)現(xiàn)了計算機的數(shù)學基礎和及其運行限制。
“人工智能現(xiàn)在是所有科學領域中發(fā)展最快的領域之一,也是社會上最受關注的話題之一,”ACM主席Cherri M. Pancake說?!叭斯ぶ悄艿脑鲩L和興趣在很大程度上歸功于Bengio,Hinton和LeCun在深度學習上的最新進展。相關技術已經(jīng)被數(shù)十億人使用。任何有智能手機的人都可以體驗到自然語言處理和計算機視覺方面的進步,這在10年前是不可能實現(xiàn)的。除了我們每天使用的產(chǎn)品之外,深度學習的新進展為科學家提供了強大的新工具——從醫(yī)學,天文學到材料科學?!?/p>
“深度神經(jīng)網(wǎng)絡促成了現(xiàn)代計算機科學的一些最大進步,幫助在計算機視覺,語音識別和自然語言理解方面的長期問題上取得實質性進展,”Google高級研究員兼Google AI 副總裁 Jeff Dean說?!斑@些進展的核心,是30多年前由Yoshua Bengio,Geoffrey Hinton和Yann LeCun開創(chuàng)的基礎技術。通過大幅提高計算機理解世界的能力,深度神經(jīng)網(wǎng)絡不僅改變了計算領域,而且?guī)缀醺淖兞丝茖W和人類努力的每一個領域?!?/p>
在傳統(tǒng)計算任務中,程序使用明確的逐步指令來控制計算機。在深度學習中,計算機沒有明確被告知要如何解決特定任務,比如對象分類。相反,它使用學習算法來提取數(shù)據(jù)中的模式,這些模式將輸入數(shù)據(jù)(例如圖像的像素)與所需的輸出(例如標簽“cat”)相關聯(lián)。研究人員面臨的挑戰(zhàn)是開發(fā)有效的學習算法,以修改人工神經(jīng)網(wǎng)絡中連接的權重,從而使得這些權重捕獲數(shù)據(jù)中的相關模式。
Geoffrey Hinton自20世紀80年代初以來,一直倡導人工智能機器學習方法的研究了人類大腦如何發(fā)揮作用來建議機器學習系統(tǒng)的開發(fā)方式。受大腦的啟發(fā),他和其他人提出“人工神經(jīng)網(wǎng)絡”作為他們機器學習調查的基石。
在計算機科學中,“神經(jīng)網(wǎng)絡”指的是,由“神經(jīng)元”這種的相對簡單的計算單元組成的系統(tǒng)。這些“神經(jīng)元”只與人類大腦中的神經(jīng)元相似,通過加權連接相互影響。通過改變連接權重,可以改變神經(jīng)網(wǎng)絡所做的計算。Hinton,LeCun和Bengio認識到了使用深層神經(jīng)網(wǎng)絡的重要性——他們的工作被稱為“深度學習”。
LeCun,Bengio和Hinton在30年期間奠定的概念基礎和工程進步因強大的圖形處理單元(GPU)計算機的普及以及對大量數(shù)據(jù)集的訪問而得到顯著提升。近年來,這些和其他因素導致了計算機視覺,語音識別和機器翻譯等技術的跨越式發(fā)展。
Hinton,LeCun和Bengio一起獨立合作。例如,LeCun在Hinton的監(jiān)督下進行了博士后工作,LeCun和Bengio從20世紀90年代初開始在貝爾實驗室工作。即使不合作,他們的工作也會產(chǎn)生協(xié)同作用和相互聯(lián)系,他們彼此之間的影響很大。
Bengio,Hinton和LeCun繼續(xù)探索機器學習與神經(jīng)科學和認知科學的交叉,特別是通過他們共同參與CIFAR(以前稱為加拿大高級研究所)的一項計劃機器和腦力學習計劃。
今年圖靈獎獲得者的技術成就,導致人工智能技術取得重大突破,包括但不限于以下內容:
Geoffrey Hinton
反向傳播算法:在1986年與David Rumelhart和Ronald Williams共同撰寫的“通過誤差傳播學習內部表征”(Learning Internal Representations by Error Propagation)一文中,Hinton證明了,反向傳播算法能夠讓神經(jīng)網(wǎng)絡發(fā)現(xiàn)自己內部數(shù)據(jù)的表征方法,這使得使用神經(jīng)網(wǎng)絡可解決的問題范圍大大拓寬。反向傳播算法是當今大多數(shù)神經(jīng)網(wǎng)絡的標準算法。
Boltzmann機:1983年,Hinton與Terrence Sejnowski一起,發(fā)明了Boltzmann機,這是第一個能夠學習神經(jīng)元內部表征的神經(jīng)網(wǎng)絡之一。
改進卷積神經(jīng)網(wǎng)絡:2012年,Hinton與其學生Alex Krizhevsky和Ilya Sutskever,使用線性整流和丟棄正則化,改進了卷積神經(jīng)網(wǎng)絡。在著名的ImageNet競賽中,Hinton和他的學生將對象識別的錯誤率幾乎減半,這重塑了計算機視覺領域。
Yoshua Bengio
序列的概率模型:在20世紀90年代,Bengio將神經(jīng)網(wǎng)絡與序列的概率模型相結合(如隱馬爾可夫模型)。這些想法被納入了手寫支票識別系統(tǒng)中,被認為是20世紀90年代神經(jīng)網(wǎng)絡研究的巔峰之作,現(xiàn)代的深度學習語音識別系統(tǒng)正在擴展這些概念。
高維詞匯嵌入和注意力機制:2000年,Bengio撰寫了具有里程碑意義的論文“神經(jīng)概率語言模型”,它引入了高維詞嵌入表示詞語含義。Bengio的見解對自然語言處理任務產(chǎn)生了深遠影響,包括語言翻譯、問答和視覺問答。他的團隊引入了“注意力機制”,這引發(fā)了機器翻譯的突破,并成為用深度學習進行序列處理的核心步驟。
生成式對抗網(wǎng)絡:2010年以來,Bengio關于生成性深度學習的論文,特別是他與Ian Goodfellow共同開發(fā)的生成式對抗網(wǎng)絡(GAN),引發(fā)了計算機視覺和計算機圖形學的革命。這項工作的一個著名應用是,計算機可以創(chuàng)建出逼真的圖像,仿佛擁有了人類智能才特有的創(chuàng)造力。
Yann LeCun
卷積神經(jīng)網(wǎng)絡:在20世紀80年代,LeCun就開發(fā)卷積神經(jīng)網(wǎng)絡,這是該領域的基礎研究。卷積神經(jīng)網(wǎng)絡優(yōu)點很多,它使深度學習變得更加必要。20世紀80年代末,LeCun在多倫多大學和貝爾實驗室工作期間,率先在手寫數(shù)字圖像上訓練卷積神經(jīng)網(wǎng)絡系統(tǒng)。如今,卷積神經(jīng)網(wǎng)絡是計算機視覺及語音識別、語音合成、圖像合成和自然語言處理的行業(yè)標準。它們有各種應用,包括自動駕駛、醫(yī)學圖像分析、語音助手和信息過濾。
改進反向傳播算法:LeCun提出了反向傳播算法(backprop)的早期版本,并根據(jù)變分原理對其進行了簡潔推導。他推動反向傳播算法的工作包括給出了兩種加速學習時間的簡單方法。
拓寬神經(jīng)網(wǎng)絡的視野:LeCun拓展了神經(jīng)網(wǎng)絡的應用范圍。他讓神經(jīng)網(wǎng)絡成為可以完成多種不同任務的計算模型,他在早期引入的一些工作,現(xiàn)在已成為人工智能領域的基礎概念。例如,在識別圖像的領域,LeCun研究了如何在神經(jīng)網(wǎng)絡中學習分層特征表示——這個概念經(jīng)常在識別任務中出現(xiàn)。LeCun與Léon Bottou一起,提出了“學習系統(tǒng)可以被構建為由模塊組成的復雜網(wǎng)絡”,這些模塊通過自動微分來執(zhí)行反向傳播算法——這成為了當今深度學習程序通用的想法。他們還提出可以處理結構化數(shù)據(jù)(如圖數(shù)據(jù))的深度學習架構。
本文編譯自ACM 官網(wǎng): https://awards.acm.org/about/2018-turing
編輯:劉楊珂
聯(lián)系客服