陳德旺
深度學(xué)習(xí)，尤其是深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的興起和大數(shù)據(jù)的加持，結(jié)合GPU的算力，如同 “三英戰(zhàn)呂布”，終于搞定了人工智能這一反復(fù)無常的“呂布”， 使得人工智能得以第三次復(fù)興。
如今，人工智能技術(shù)向各行各業(yè)滲透，智能產(chǎn)業(yè)的發(fā)展正如火如荼。 飲水思源，我們不能忘記，提出深度學(xué)習(xí)核心算法并于2019年獲得圖靈獎的三位英雄：深度學(xué)習(xí)三劍客: Hinton, LeCun 和Bengio. 尤其，是要向他們學(xué)習(xí)以下四種創(chuàng)新精神，以更好地實現(xiàn)我國創(chuàng)新能力的提升。
Hinton, LeCun 和Bengio雖然在不同的國家，處于不同的階段，從20世紀(jì)八十年代開始，不約而同就對人工神經(jīng)網(wǎng)絡(luò)，尤其是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，非常感興趣。Hinton年紀(jì)較大，在另外2位還在讀上大學(xué)或讀研究生的時候，Hinton已經(jīng)博士畢業(yè)，到斯坦福大學(xué)做博后了。1986年，Hinton與美國科學(xué)院院士Rumelhart等在Nature 上發(fā)表論文，提出了著名的BP（反向傳播）算法： 多層神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)算法，引起了神經(jīng)網(wǎng)絡(luò)第二次復(fù)興的浪潮。 該經(jīng)典論文至今已經(jīng)被引用2萬多次。 這次復(fù)興之后，基于BP算法的神經(jīng)網(wǎng)絡(luò)解決了很多問題，相關(guān)研究和論文呈現(xiàn)井噴狀態(tài)。
可惜，好景不長在。幾年后，研究人員發(fā)現(xiàn)：BP算法雖然好用，但也存在收斂速度慢，容易陷入局部最小值和網(wǎng)絡(luò)的初始化參數(shù)密切相關(guān)。尤其，由于訓(xùn)練時間太長，訓(xùn)練參數(shù)太多，內(nèi)存經(jīng)常溢出，難以處理如圖像識別這類高維度和大量樣本數(shù)據(jù)問題。于是，神經(jīng)網(wǎng)絡(luò)的研究陷入了第二次低潮： 很難拿到課題，很難發(fā)表論文 ，很多研究人員就放棄了，轉(zhuǎn)向別的研究方向。
但是，Hinton不氣餒，始終堅持研究方向不動搖，苦思冥想破解之道不懈怠， 轉(zhuǎn)移到加拿大多倫多大學(xué)繼續(xù)開展研究。在共同發(fā)明BP算法20年后，2006年Hinton，通過深度思考和編程實踐，終于想出了針對高維數(shù)據(jù)的破解之道，在Science上發(fā)表了用神經(jīng)網(wǎng)絡(luò)減少數(shù)據(jù)維度的新方法，為深度學(xué)習(xí)的興起奠定了理論基礎(chǔ)，至今被引用1萬余次。 之后，深度神經(jīng)網(wǎng)絡(luò)的發(fā)展可謂波瀾壯闊，氣勢如虹。由于篇幅關(guān)系，就不逐一描述了。
1987博士畢業(yè)后，LeCun 去加拿大多倫多大學(xué)，追隨神經(jīng)網(wǎng)絡(luò)的旗手人物Hinton 做了一年的博士后。在Hinton的啟發(fā)和指導(dǎo)下，LeCun提出卷積神經(jīng)網(wǎng)絡(luò)用于手寫體識別，大幅度提高了精度，引起了關(guān)注。但好景不長，該方法的通用性不強(qiáng)，還是難以處理更高維的彩色圖像數(shù)據(jù)。
2003年，LeCun到紐約大學(xué)任教并發(fā)展了第三個合作者：前公司同事 蒙特利爾大學(xué)教授Yoshua Bengio，與Hinton一起組成了所謂的“深度學(xué)習(xí)的陰謀（ Deep Learning Conspiracy）”。據(jù)說，Bengio 在讀研究生時，讀到了Hinton的一篇論文，如被電擊，找到了兒時非常喜歡的科幻故事的感覺。如今有機(jī)會加入偶像領(lǐng)導(dǎo)的神秘小組，自然是喜出望外。
2004年機(jī)會終于來了，Hinton拿到了一個加拿大政府支持的大項目，很快就組建了研究組，并邀請LeCun和Bengio加入了他的項目組。至此，三劍客正式進(jìn)入了蜜月期 。為了證明神經(jīng)網(wǎng)絡(luò)是有用的，他們開發(fā)了更多層的神經(jīng)網(wǎng)絡(luò)(深度神經(jīng)網(wǎng)絡(luò)），用更大的數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)，并在更強(qiáng)大的計算機(jī)上運(yùn)行網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)算法。 Hinton 曾開玩笑地表示：三人平均每周都要見一次，而聚會經(jīng)常以吵架結(jié)束。我想Hinton2006年在Science上發(fā)表的經(jīng)典論文應(yīng)該和這些吵架相關(guān)，吵架和辯論使Hinton的思考更有深度（深度思考）。十年面壁思考，十年討論爭論，Hinton化了整整20年的時間，終于想出了神經(jīng)網(wǎng)絡(luò)第二次衰落的關(guān)鍵破解之法。
達(dá)摩面壁9年（另說10年），9年后的2015年，三劍客合作寫了一篇Deep Learning(深度學(xué)習(xí))綜述論文發(fā)表在Nature, 正式給他們的研究成果和無數(shù)相關(guān)研究樹立了一面旗幟，影響了這些年AI的快速發(fā)展和智能產(chǎn)業(yè)的快速崛起，已經(jīng)被引用2.5萬余次了。
深度學(xué)習(xí)三劍客Hinton, LeCun和Bengio，經(jīng)過長時間的反復(fù)討論，相互辯論和編碼實現(xiàn)，終于合力搞定了深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法這個怪獸。他們的貢獻(xiàn)，主要體現(xiàn)為以下三個方面的新思路：1）利用新的激活函數(shù)ReLu等解決了梯度消失或發(fā)散問題；2）利用卷積運(yùn)算和參數(shù)共享解決了高維圖像的特征提取和降維問題；3）利用逐層訓(xùn)練和Dropout等技術(shù)解決了網(wǎng)絡(luò)參數(shù)太多，訓(xùn)練時間長，容易過擬合等問題。如同神勇無敵的唐朝大將軍薛仁貴“三箭定天上“，深度學(xué)習(xí)三劍客三箭齊發(fā)，終于合力搞定了深度學(xué)習(xí)算法，實現(xiàn)了對深度神經(jīng)網(wǎng)絡(luò)的多層龐大參數(shù)的學(xué)習(xí)和調(diào)整。
深度學(xué)習(xí)與其說是一種理論，不如說是一種高超的編程技術(shù)。深度學(xué)習(xí)的實現(xiàn)需要大數(shù)據(jù)，GPU（圖形處理器）和深度學(xué)習(xí)算法同時發(fā)力，對深度神經(jīng)網(wǎng)絡(luò)的幾百萬，幾千萬的參數(shù)進(jìn)行學(xué)習(xí)，不斷降低誤差，達(dá)到非常高的精度，在圖像識別，語音識別和下圍棋等領(lǐng)域都超過了人類專家。
LeCun親手制作了被Hinton稱為“機(jī)器學(xué)習(xí)界的果蠅”的經(jīng)典數(shù)據(jù)集MNIST，并親自編程實現(xiàn)了LeNet5網(wǎng)絡(luò)，點(diǎn)燃了深度神經(jīng)網(wǎng)絡(luò)再度復(fù)興的希望。Hinton年紀(jì)雖然有些大了，但有親自實現(xiàn)BP算法的豐富編程經(jīng)驗?！袄象K伏櫪，志在千里“，在Hinton的循循善誘下，他的研究生Alex 編寫出了著名的AlexNet網(wǎng)絡(luò)，一舉取得ImageNet大賽的冠軍，并遙遙領(lǐng)先于第二名，標(biāo)志著深度神經(jīng)網(wǎng)絡(luò)的第三次再度興起。 Bengio也是編程實現(xiàn)的高手，率先帶領(lǐng)了團(tuán)隊開發(fā)了深度學(xué)習(xí)算法庫Theano，使得我們使用深度學(xué)習(xí)算法變得非常方便，極大地推動了深度神經(jīng)網(wǎng)絡(luò)的推廣和普及。
三劍客既各有所長，又相互補(bǔ)充，你中有我，我中有你，才形成了深度學(xué)習(xí)完整的理論體系和算法實現(xiàn)，因此分享圖靈獎是非常合理的。歷史上，圖靈獎一般來說，1年只發(fā)給1人，很少發(fā)給2人，據(jù)我所知，這是第1次發(fā)給3人。 他們這種“親力親為，止于至善”的工匠精神非常值得我們科研人員學(xué)習(xí)。我國傳統(tǒng)文化的"坐而論道"思維其實對今天科技的發(fā)展有一定阻礙作用。
尤其值得稱道的是，這三位大專家不僅是埋頭苦干的編程實干家，更是胸懷寬廣的計算機(jī)科學(xué)家。在他們的個人網(wǎng)頁，可以找到各種學(xué)習(xí)資源，從論文到PPT，從數(shù)據(jù)集到代碼，均可下載，毫無保留。這種公開開放的精神，給深度學(xué)習(xí)的推廣以非常大的助力。這就像一個武林高手公開了自己的武功秘籍和練功方法，不怕別人超越，也歡迎別人超越，比金庸筆下陰險毒辣，獨(dú)占秘笈的東方不敗和隱居山林，后繼乏人的獨(dú)孤求敗境界要高很多。
眾所周知，深度學(xué)習(xí)算法是人工智能（AI）第三次復(fù)興的關(guān)鍵所在，不僅體現(xiàn)在快速增長的研究項目和發(fā)表論文。 如果僅僅是研究項目和發(fā)表論文，深度學(xué)習(xí)很可能是曇花一現(xiàn)，難以持久。更重要地是體現(xiàn)在人工智能產(chǎn)業(yè)的興起，各種AI實際應(yīng)用如雨后春筍，在全球大規(guī)模展開。國內(nèi)外著名IT大公司，幾乎都轉(zhuǎn)型為AI公司，有的公司甚至喊出了“All in AI（全部都在人工智能）”的口號。 AI廣泛深度應(yīng)用有效提高了產(chǎn)品的效能，服務(wù)的質(zhì)量和公司的盈利。
現(xiàn)在AI滲透到各行各業(yè)，深度學(xué)習(xí)三劍客不僅僅是享譽(yù)世界的計算機(jī)科學(xué)家，更是AI產(chǎn)業(yè)復(fù)興的開拓者和先行者。他們沒有陷入“搞項目為了發(fā)論文，發(fā)論文為了搞項目“的自我陶醉和循環(huán)中，好像學(xué)習(xí)了毛澤東主席的“將革命進(jìn)行到底”的文章，誓將深度學(xué)習(xí)進(jìn)行到底。為了證明他們研究的深度學(xué)習(xí)算法確實有用，他們不止步于論文，雖經(jīng)常面對非議，仍毅然砥礪前行。他們不僅親自編碼并開源，還開發(fā)深度學(xué)習(xí)算法包，身體力行幫助產(chǎn)業(yè)界發(fā)展，最終推動了智能產(chǎn)業(yè)的巨大飛躍。 這與我國的袁隆平先生研究雜交水稻，一直堅持到底，直到雜交水稻大規(guī)模播種，還繼續(xù)在田間地頭進(jìn)行研究實踐的精神如出一轍。
Hinton和他的2名研究生在2012年成立了DNN Research（深度神經(jīng)網(wǎng)絡(luò)研究） 公司。 該公司成立的主要目的就是要推廣他們在ImageNet大賽中所采用的深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)。 2013年， 該公司就被市場嗅覺敏銳的谷歌公司高價收購了。之后，Hinton領(lǐng)導(dǎo)谷歌的AI團(tuán)隊，將“深度學(xué)習(xí)”從邊緣課題變成了谷歌等互聯(lián)網(wǎng)巨頭依賴的看家本領(lǐng)。 再之后，谷歌就有了家喻戶曉的AlphaGo 等新技術(shù)，不得不讓人浮想聯(lián)翩。因此，學(xué)者只要能放下身段，深入實際，是有可能搞出核心技術(shù)，并推動產(chǎn)業(yè)發(fā)展和社會進(jìn)步的。我國最近密集出臺多項政策對“唯論文說不”，相信將對我國科技的未來和核心技術(shù)的掌握影響深遠(yuǎn)。
作為Hinton 志同道合的合作者和堅定不移的追隨者， LeCun也具有將深度學(xué)習(xí)進(jìn)行到底的精神和毅力。他花費(fèi)大量時間和精力，親自制作了包括7萬張圖片的MNIST手寫體識別數(shù)據(jù)集并編寫了CNN（卷積神經(jīng)網(wǎng)絡(luò)）代碼，極大提高了手寫體識別的精度和效率。該數(shù)據(jù)集也是機(jī)器（深度）學(xué)習(xí)算法的試金石和墊腳石。2013年底，他被任命為Facebook人工智能實驗室主任和首席科學(xué)家，他在紐約大學(xué)的職位也從終身教授變更為兼職教授。最近幾年，F(xiàn)acebook的快速發(fā)展充分證明了LeCun的突出貢獻(xiàn)。
2016年之前，Bengio雖擔(dān)任了幾家大公司的學(xué)術(shù)顧問，但他更多的精力還是耕耘在學(xué)術(shù)界。 看到其他2位劍客在產(chǎn)業(yè)界做的風(fēng)生水起，他在2016年也終于下海試水了，而且步伐更大。Bengio和幾位朋友一起創(chuàng)立了創(chuàng)業(yè)公司Element AI。該公司的使命是賦能AI優(yōu)先的商業(yè)，支持Bengio實驗室和其他頂尖大學(xué)的研究人員每月為企業(yè)工作數(shù)小時，同時保留學(xué)術(shù)職位，以更好地實現(xiàn)理論研究和產(chǎn)業(yè)應(yīng)用的相互促進(jìn)。
總之，榮獲圖靈獎的深度學(xué)習(xí)三劍客身體力行了“將科研進(jìn)行到底“的精神，完成了從理論研究到核心技術(shù)再到產(chǎn)業(yè)化的完美歷程，并啟示我們：好的研究成果是有用的，好的研究是可以形成核心技術(shù)并實現(xiàn)產(chǎn)業(yè)化的，科學(xué)家是可以改變世界的，只要我們能堅定不移，堅持不懈并砥礪前行。
陳德旺，IEEE高級會員，IEEE Trans.on ITS 編委，中國自動化學(xué)會混合智能專委會副主任，中國運(yùn)籌學(xué)會智能計算分會副理事長，美國加州大學(xué)伯克利分校訪問學(xué)者，福州大學(xué)數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院教授、博士生導(dǎo)師，主要研究方向為人工智能、大數(shù)據(jù)和智能交通等。至今發(fā)表論文120余篇，其中SCI檢索論文40余篇，IEEE Transaction論文13篇，他引3000余次；獲得各類科研獎勵10多項。
聯(lián)系客服
