導言
謹以此文,向熬過寒冬的深度學習先驅(qū),以及依然在各個方向堅持探索的研究者致敬。能否獲得圖靈獎不是最重要的,信念、堅持、思考、靈感才是他們的追求。
人工智能領(lǐng)域的7次圖靈獎
算上剛拿到的這次,AI已經(jīng)七獲圖靈獎,是計算機科學各個領(lǐng)域中獲圖靈獎最多的方向之一,足見這一領(lǐng)域在整個CS中的地位。首先我們列舉一下自1966年以來的歷次圖靈獎
1966,Alan J. Perlis,程序設計,編譯器
1967,Maurice Wilkes,EDSAC,程序設計
1968,Richard Hamming,數(shù)值計算,編碼,糾錯碼
1969,Marvin Minsky,人工智能
1970,James H. Wilkinson,數(shù)值計算
1971,John McCarthy,人工智能
1972,Edsger W. Dijkstra,程序設計
1973,Charles W. Bachman,數(shù)據(jù)庫
1974,Donald E. Knuth,程序設計
1975,Allen Newell,Herbert A. Simon,人工智能
1976,Michael O. Rabin,Dana S. Scott,非確定性自動機,理論計算
1977,John Backus,程序設計
1978,Robert W. Floyd,程序設計
1979,Kenneth E. Iverson,程序設計
1980,Tony Hoare,程序設計
1981,Edgar F. Codd,數(shù)據(jù)庫
1982,Stephen A. Cook。計算復雜性理論
1983,Ken Thompson,Dennis M. Ritchie,操作系統(tǒng),程序設計。UNIX與c語言之父,程序員應該都知道
1984,Niklaus Wirth,程序設計
1985,Richard M. Karp,程序設計,計算復雜性理論。NP完全理論的提出者
1986,John Hopcroft,Robert Tarjan,程序設計
1987,John Cocke,編譯器,計算機系統(tǒng)結(jié)構(gòu)(RISC)
1988,Ivan Sutherland,計算機圖形學
1989,William Kahan,數(shù)值計算
1990,F(xiàn)ernando J. Corbató,操作系統(tǒng)
1991,Robin Milner,程序設計
1992,Butler W. Lampson,操作系統(tǒng)
1993,Juris Hartmanis,Richard E. Stearns,計算復雜性理論
1994,Edward Feigenbaum,Raj Reddy,人工智能
1995,Manuel Blum,計算復雜性理論,密碼學,程序驗證
1996,Amir Pnueli,程序設計
1997,Douglas Engelbart,人機交互
1998,Jim Gray,數(shù)據(jù)庫
1999, Frederick P. Brooks, Jr.,計算機系統(tǒng)結(jié)構(gòu),操作系統(tǒng),軟件工程
2000,Andrew Chi-Chih Yao(姚期智,唯一的華人),理論計算,偽隨機數(shù),密碼學,通信復雜度
2001,Ole-Johan Dahl,Kristen Nygaard,面向?qū)ο蟪绦蛟O計
2002,Adi Shamir,Ronald L. Rivest,Leonard M. Adleman,密碼學。大名鼎鼎的RSA算法,大家都知道
2003,Alan Kay,面向?qū)ο蟪绦蛟O計
2004,Vinton G. Cerf,Robert E. Kahn,計算機網(wǎng)絡,TCP/IP協(xié)議,江湖地位不用多說
2005,Peter Naur,程序設計
2006,F(xiàn)rances E. Allen,編譯器
2007,Edmund M. Clarke,E. Allen Emerson,Joseph Sifakis,程序設計
2008,Barbara Liskov,程序設計
2009,Charles P. Thacker,設計與制造第一臺PC
2010,Leslie G. Valiant,人工智能
2011,Judea Pearl,人工智能
2012,Silvio Micali,Shafi Goldwasser,密碼學
2013,Leslie Lamport,分布式計算,大名鼎鼎的PAXOS算法就是他提出的,可以拜讀一下
2014,Michael Stonebraker,數(shù)據(jù)庫
2015,Martin E. Hellman,Whitfield Diffie,密碼學
2016,Tim Berners-Lee,WWW,瀏覽器?;ヂ?lián)網(wǎng)時代的祖師爺,江湖地位不用多說
2017,John L. Hennessy,David A. Patterson,計算機系統(tǒng)結(jié)構(gòu)
2018,大家都知道
這里面有很多大家耳熟能詳?shù)某晒腿宋?。學數(shù)據(jù)結(jié)構(gòu)時都知道的Dijkstra;計算機課科班的同學都知道的UNIX與c語言之父(不是譚浩強),發(fā)明關(guān)系型數(shù)據(jù)庫的Edgar F. Codd。其他的不一一列舉了,他們是計算機科學和工業(yè)史的縮影,真的改變了我們的生活和世界。
有些領(lǐng)域多次獲獎,如程序設計語言/算法設計/編譯器累計獲獎20+次之多。數(shù)據(jù)庫獲獎4次。人工智能在所有方向中,算是獲獎非常多的了。這些多次得獎的方向,都誕生過巨頭公司,如計算機系統(tǒng)結(jié)構(gòu)的intel,amd;數(shù)據(jù)庫的ORACLE;操作系統(tǒng)的微軟,SUN,IBM等。
令人遺憾的是,自1956年誕生到今天為止,盡管AI已經(jīng)走完了63年的歷程,但AI領(lǐng)域還沒有誕生能比肩Microsoft這樣的產(chǎn)業(yè)巨頭。對于很多亟待解決的工業(yè)界問題,目前的AI技術(shù)水平還未達到能夠?qū)嵱玫臉藴?。這條道路之艱辛,可見一斑。
接下來列舉一下AI方向所獲得的圖靈獎
2018 Geoffrey E Hintion,Yann LeCun,Yoshua Bengio,深度學習
2011 Judea Pearl,概率圖模型(貝葉斯網(wǎng)絡)
2010 Leslie Valiant,PAC(概率近似正確)理論
1994 Edward Feigenbaum,Raj Reddy,專家系統(tǒng)
1975 Allen Newell,Herbert A. Simon,邏輯推理
1971 John McCarthy,LISP,邏輯推理
1969 Marvin Minsky,神經(jīng)網(wǎng)絡
自1969到1975年3次頻繁獲獎,下一次獲獎是在時隔19年之后的1994年,它們是對AI早期成果的肯定,包括邏輯推理,知識工程,專家系統(tǒng)等。不幸的是這些方法并沒法解決人工智能的一些核心問題,如圖像識別,語音識別,這些在人類看來再簡單不過的問題,卻困擾了AI學者幾十年。
最近3次獲獎都是因為機器學習,這代表了AI方法的轉(zhuǎn)變,從歸納和總結(jié)人的知識和能力然后編碼實現(xiàn),演變?yōu)槟M人的學習能力。這一現(xiàn)在看來非常簡單的轉(zhuǎn)變,卻經(jīng)歷了整整數(shù)十年。機器學習從1980年興起開始到第一次拿圖靈獎,也間隔了30年。中間的幾次浪潮幾次寒冬,恐怕只有當年經(jīng)歷過那個時代的學者們才有最深刻的體會。
2018
這三位是深度學習的領(lǐng)軍人物,對本輪AI興起起到了關(guān)鍵作用。深度學習在計算機視覺,語音識別,自然語言處理,數(shù)據(jù)生成,決策和控制問題上取得了當前最好的效果。自2012年以來,深度學習以迅猛的速度發(fā)展,帶動了此次AI的復興,使得這一領(lǐng)域第一次出現(xiàn)了真正的大規(guī)模產(chǎn)業(yè)化。從計算機視覺的圖像分類,目標檢測,圖像分割,3D,目標跟蹤,到語音識別,自然語言處理中的機器翻譯,以及圖像、聲音數(shù)據(jù)的生成,AlphaGo的成功,深度學習取得的成就讓我們備受鼓舞。這一方法不是萬能的,但它卻在很大程度上解決了感知,數(shù)據(jù)生成,決策和控制問題,這在AI的歷史上是前無古人的。
Geoffrey Hinton
Geoffrey Hinton被稱為深度學習之父,他的主要貢獻有
反向傳播算法(BP)
1986年,Hinton與David Rumelhart等共同撰寫了“Learning Internal Representations by Error Propagation”,提出了反向傳播算法的完整表述。至今,這還是神經(jīng)網(wǎng)絡訓練時采用的算法。
受限玻爾茲曼機(RBM)
1983年,Hinton與Terrence Sejnowski一起提出了受限玻爾茲曼機,這是一種隨機、生成式神經(jīng)網(wǎng)絡,也是深度學習早期的模型之一。
逐層預訓練策略訓練深度神經(jīng)網(wǎng)絡
2006年,提出了用逐層預訓練的策略訓練多層神經(jīng)網(wǎng)絡(自動編碼器),拉開了深度學習的序幕。
AlexNet
2012年,Hinton與他的學生Alex Krizhevsky和Ilya Sutskever設計了使用ReLU激活函數(shù)和Dropout機制的卷積神經(jīng)網(wǎng)絡,大幅度提升了圖像分類的準確率,成為深度學習真正的開端。
Yann LeCun
Yann LeCun被稱為卷積神經(jīng)網(wǎng)絡之父,其主要貢獻是卷積神經(jīng)網(wǎng)絡。早在1989年,LeCun就發(fā)明了卷積神經(jīng)網(wǎng)絡,是深度卷積神經(jīng)網(wǎng)絡的雛形,這一思想被沿用至今。1998年,他又提出了LeNet網(wǎng)絡,后來的卷積神經(jīng)網(wǎng)絡都參考了這一網(wǎng)絡的結(jié)構(gòu)。
Yoshua Bengio
個人認為,Yoshua Bengio對深度學習的貢獻比不上前面了兩位,公平的來說,Schmidhuber的LSTM江湖地位要超過Bengio的成果。他的主要貢獻是深度學習序列建模,注意力機制,以及RNN在NLP中的應用,此外他和學生Ian Goodfellow共同提出了生成對抗網(wǎng)絡(GAN),是目前研究最熱的數(shù)據(jù)生成模型,解決了很多特定領(lǐng)域的數(shù)據(jù)生成問題。Bengio一直以來在致力于解決深層神經(jīng)網(wǎng)絡難以訓練的問題,下面的論文是最好的證明
Y. Bengio, P. Simard, P. Frasconi. Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 5(2):157-166, 1994.
Xavier Glorot, Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. Journal of Machine Learning Research. 2010.
Xavier Glorot, Yoshua Bengio. On the difficulty of training recurrent neural networks. international conference on machine learning. 2013.
2011
繼2010年獲獎之后,2011年機器學習再次獲獎,這次是由概率圖模型的領(lǐng)軍人物Judea Pearl獲得。概率圖模型是機器學習算法中的大家族,用圖來對變量的概率關(guān)系進行建模,實現(xiàn)推理,具有較好的可解釋性,也符合人的思維習慣。將概率論引入機器學習模型,這無疑是一個偉大的成就。
Judea Pearl
他的主要貢獻是提出了概率圖模型和因果推理算法,將概率引入機器學習,典型代表作是貝葉斯網(wǎng)絡。HMM(隱馬爾可夫模型),條件隨機場(CRF)也是概率圖模型家族中的成員,讓很多機器學習的初學者感到困難。Judea Pearl在NIPS 2017上的演講無人問津,不禁令世人感慨,大家都一窩蜂去做深度學習了。
2010
這是機器學習第一次拿獎,發(fā)給了機器學習基礎理論的探索者Leslie G Valiant。機器學習在1980年代就誕生了一些非常重要的方法,包括決策樹,神經(jīng)網(wǎng)絡,卷積神經(jīng)網(wǎng)絡等。而圖靈獎對機器學習的第一肯定則選擇了基礎領(lǐng)域。包括PAC在內(nèi)的一些基礎結(jié)論,對設計,分析機器學習算法具有非常重要的意義。
Leslie G Valiant
Leslie G Valiant主要貢獻是PAC學習(概率近似正確)理論,它從理論上回答了什么樣的問題是可學習的,并給出了滿足泛化性能約束的條件。可類別為金庸小說中的內(nèi)功,不現(xiàn)于外表,但對習武之人來說卻至關(guān)重要。Leslie G Valiant的成果對后面的機器學習算法設計有深遠的影響,只是使用各種具體算法的同學可能對他并不熟悉。
1994
這次圖靈獎頒發(fā)給了專家系統(tǒng)的核心人物,Edward A Feigenbaum與Raj Reddy。是人工智能時隔19年后再一次獲獎,有昨日黃花的味道。
Edward A Feigenbaum
Edward Feigenbaum被稱為專家系統(tǒng)之父。這是人工智能早期階段的核心成果之一,因為缺乏可擴展性和通用性,以及其他局限性,現(xiàn)在被機器學習所取代。
Raj Reddy
Raj Reddy是識別連續(xù)性語音系統(tǒng)的先驅(qū)。他發(fā)明了第一代連續(xù)語音識別系統(tǒng)Hearsay I。在這個系統(tǒng)以及之后的Hearsay II, Harpy, and Dragon等系統(tǒng)中,他和他的學生發(fā)展了一套現(xiàn)代商業(yè)化語音識別技術(shù)的理論。
1975
這是AI第3次獲獎。這次的獎發(fā)給了符號主義學派的創(chuàng)始人-Allen Newell和Herbert A.Simon。這是當年參加達特茅茨會議的人,參加這次會議,可真是拿獎的好機會,堪比參加8.1南昌起義的我軍將領(lǐng)們最后紛紛獲得元帥和大將的頭銜。
Allen Newell
主要的貢獻是信息處理,Information Processing Language(IPL),Logic Theory Machine,General Problem Solver,以及認知科學。
Herbert A.Simon
Simon是符號主義學派的創(chuàng)始人,其研究工作始終都以人的思想為中心,認為計算機是模擬人類來解決問題。研發(fā)了 “ 邏輯理論家”和“通用問題求解器”項目,在語音識別和人機交互上取得了重要進展。其目標是讓計算機成為人類解決問題的高效工具。
1971
這一次的圖靈獎頒發(fā)給了John McCarthy,被尊稱為AI之父。
John McCarthy
John McCarthy的主要貢獻是他是達特茅斯會議的發(fā)起者之一,首次提出了人工智能的概念。在α-β搜索法,機器人,計算理論,常識推理,人機交互等領(lǐng)域,他也做出了開創(chuàng)性的工作。此外,他發(fā)明了AI領(lǐng)域早期的一種重要工具-LISP語言。同時,對代數(shù)語言ALGOL 58和60也作出了至關(guān)重要的貢獻。
1969
這是AI第一次獲得圖靈獎,發(fā)給了Marvin Minsky,AI的發(fā)起人之一。
Marvin Minsky
Marvin Minsky是達特茅斯會議的發(fā)起者之一。1951年他提出了關(guān)于思維如何萌發(fā)并形成的一些基本理論,并建造了一臺學習機,名為Snarc。他研發(fā)了第一個神經(jīng)網(wǎng)絡模擬器、設計了最早的模擬人類機器人:Snarc,其目的是學習如何穿過迷宮,其組成中包括40個'代理'(agent ,國內(nèi)資料也有把它譯為'主體'、'智能體'的)和一個對成功給予獎勵的系統(tǒng),基于agent的計算和分布式智能是當前人工智能研究中的一個熱點,明斯基也許是最早提出agent概念的學者之一。
其他未獲得圖論獎的重量級成果和學者
除了已經(jīng)獲得的7次圖靈獎之外,至少在機器學習領(lǐng)域還有不少重量級的成果與學者至今還沒有獲獎,他們以及他們的成就同樣值得我們尊敬與銘記。
Vladimir N. Vapnik
SVM和VC維的提出者,前者是機器學習歷史上曾經(jīng)出現(xiàn)的重量級方法,在機器學習江湖上的地位有目共睹。后者與PAC同屬于機器學習的基礎理論基石,是衡量分類器能力的基礎指標。Vapnik與SVM在機器學習中的地位少有學者能超越,尤其是后者,從1990年代后期到深度學習出現(xiàn)之前,在機器學習的江湖中顯赫數(shù)十載。
Yoav Freund,Robert Schapire
共同提出了AdaBoost算法,是boosting的一個可實現(xiàn)版本,影響力同樣巨大。但他們兩位之前已經(jīng)獲得了歌德爾獎,這是理論計算機科學的最高獎,雖不及圖靈獎,但也是非常高的榮譽。AdaBoost算法當年的成功足以與SVM比肩,2001年它被用于人臉檢測問題,是這一領(lǐng)域第一個有里程碑意義的突破。后面各種灌水的文章,都仰仗于AdaBoost的各類變種。
Leo Breiman
CART(分類與回歸樹),隨機森林,梯度提升算法的提出者,哪一個都是機器學習領(lǐng)域響當當?shù)某晒ART是機器學習領(lǐng)域在1980年代的重要成果之一,目前還被用于一些數(shù)據(jù)分析問題。隨機森林就不用多說,學過機器學習的人都知道。梯度提升算法是繼AdaBoost之后第二種廣為使用的boosting框架,現(xiàn)在炙手可熱的xgboost是對它的改進。遺憾的是Breiman老爺子已經(jīng)去世,圖靈獎之前貌似從來沒頒發(fā)給不在世的人,所以是沒有機會拿獎了,清明節(jié)快到了,我們祭奠他老人家一下。
Jürgen Schmidhuber
LSTM的提出者,對深度學習的發(fā)展同樣做出了不可磨滅的貢獻。Schmidhuber這次沒拿獎是有很大的爭議的,論對深度學習的貢獻,筆者認為他不比Bengio小。LSTM直接促成了RNN在序列預測問題上的大規(guī)模應用,包括語音識別,自然語言處理等。他還提出了high way network,何凱明提出的目前廣為應用的殘差網(wǎng)絡,被認為受到了這一結(jié)構(gòu)的啟發(fā)。另外,他提出的PM(Predictability Minimization)與GAN之間的原創(chuàng)性爭議,讓我們也很感慨,GAN已經(jīng)有6902次的引用,而PM的引用次數(shù)卻少得可憐。沒有與深度學習另外3巨頭一起獲得這次的圖靈獎,是一大遺憾。
展望未來,盡管深度學習在很多特定應用實踐中取得了成功,但它仍然存在很多局限性,比如依賴大量標注的訓練樣本,不具備邏輯推理能力,仍然不能像人類智能那樣具有適應性和通用性,對抽象數(shù)據(jù)的處理(如NLP,結(jié)構(gòu)化數(shù)據(jù))欠佳(不過現(xiàn)在GNN又出現(xiàn)了)等。如何解決余下的這些挑戰(zhàn),Bengio提到,“我們不應該隨波逐流,現(xiàn)在深度學習就是這股洪流?!盙eoffrey Hinton曾經(jīng)說,AI不會再有寒冬,我們希望他的預言成真!老爺子的幾十年如一日的堅持,值得我們所有從業(yè)者感激,敬佩與學習。
(完)
聯(lián)系客服