新智元報道
來源：Twitter
報道：文強
【新智元導讀】Twitter今天出現(xiàn)了一條驚爆tread：CMU助理教授Simon DeDeo炮轟谷歌大腦，認為他們沒在做真正的科學，只是用強大的算力以及招攬到的眾多優(yōu)秀博士生，不斷快速推出機器學習工程成果，而真正的知識還跟20年前一樣！
你認為谷歌大腦和其他類似的企業(yè)AI研究院如何？
這只是再正常不過的一個問題，沒想到竟然冒出了一條讓人吃驚的回復(fù)。CMU的助理教授Simon DeDeo表示：在那里人們并沒有做真正的科學！
好吧，事情是這個樣子的，先來看這位Simon DeDeo的回復(fù)——之前的聲明：
接下來我要說說對谷歌大腦和類似機構(gòu)的看法。聲明：這是我個人的意見，我不需要他們的資助，也沒有通過討好他們來成就我的職業(yè)生涯。
字里行間無不流露出對谷歌大腦等頂尖AI研究院的不屑與不滿，基本可以想見他的看法整體走向?qū)⑹鞘裁础?/span>
下面這條可以認為是DeDeo的核心觀點：企業(yè)“研究”是從商業(yè)立場出發(fā)的，無論管理流程如何。
Simon DeDeo其人
Simon DeDeo是CMU社會與決策科學（Social and Decision Sciences）助理教授，圣達菲研究所外部教授。他之前曾在印第安納大學的復(fù)雜系統(tǒng)和認知科學項目中工作過。他還曾在東京大學宇宙物理與數(shù)學研究所和芝加哥大學卡夫利宇宙物理研究所獲得博士后獎學金。
教育背景
博士：普林斯頓大學天體物理學
碩士：劍橋大學應(yīng)用數(shù)學與理論物理
學士：哈佛大學天體物理學
在DeDeo的主頁介紹上寫著，他們的研究方向是：在社會思想實驗室（Laboratory for Social Minds），我們進行實證研究，并建立歷史和現(xiàn)代現(xiàn)象構(gòu)建數(shù)學理論。我們的研究既包括數(shù)百年的人類文化發(fā)展，也有瞬息萬變的現(xiàn)代等級制度。我們創(chuàng)建了關(guān)于政治秩序重大轉(zhuǎn)變合成的深層次描述，目的是預(yù)測和理解我們整個物種的未來。
或許你認為以為從事天文學的博士對人工智能并無了解，因此DeDeo的話無關(guān)緊要，不過，天文學也是目前積極采用機器學習的基礎(chǔ)學科之一。DeDeo在他的工作中也無可避免的會用到深度學習。此外，從2012年開始，深度學習的熱潮興起，幾句席卷整個自然科學領(lǐng)域，從生物、化學到物理，越來越多的科學家都發(fā)現(xiàn)機器學習能夠幫助乃至加速他們的發(fā)現(xiàn)。
而DeDeo，也不可避免的處于這場深度學習熱潮中間，而且關(guān)聯(lián)還不淺。
在谷歌你能接觸到最尖端的機器學習，但成不了科學家，一切都是商業(yè)計劃
DeDeo將他的抱怨連發(fā)了幾十條Twitter，簡直構(gòu)成了一篇文章：
我在貝葉斯時代長大，見證了David Spergel和他的快樂科學家團隊用一些簡單的，從理論上推動的方程改變了我們對世界的看法。
當我出到校門外開始研究生活和思考系統(tǒng)時，這也是我的研究出發(fā)點。當然，2010年左右，深度學習革命變得不可忽視。
這是令人興奮的事情。我們邀請學者參觀訪問，告訴我們關(guān)于決策樹、隨機森林，各種奇妙的事情。我也試著學習這些方法，但老實說，我們可以用簡單的工具做很多事情，因此并沒有把機器學習到成優(yōu)先事項。
當我到IU時，我被聘為信息學部門的教授，IUsolCE（信息學也即未來的計算機科學，不再是簡單的快速排序，而是弄清楚機器對人類生活的影響）。我當時在一個招聘委員會里，非常要招一個深度學習的人。
我?guī)械暮蜻x人去吃早餐（我喜歡跳過會議和委員會，把時間花在研究生和本科生身上），然后弄清現(xiàn)在的深度學習。大多數(shù)候選人可能都沒睡醒。
基本答案：我們所做的每一個性感的項目，從飛行四軸飛行器到在MNIST上再獲得精度0.1％的提升，基本上就是一名研究生。
你計算出神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，然后找到權(quán)重。怎么做？答案是：GSD，graduate student descent——開個玩笑。簡而言之，沒有一個好的答案，就是一個人坐在那里，不斷調(diào)整參數(shù)。
機器學習是工程學的一項了不起的成就。但這不是科學。遠遠不是。我們?nèi)缃褡龅闹皇?990年的東西，成倍放大的結(jié)果。它并沒有給我們帶來比20年前更多的見解。
是的，我也聽說過“深度學習實現(xiàn)了renormalization group！”但如果你有一個在空間中組織的信息系統(tǒng)，那么神經(jīng)元在空間上將信息組合起來真的很厲害嗎？
我也被邀請參加Google Research或類似地方的會議。他們的安保像瘋了一樣，比對沖基金更糟糕。保安會跟著你去洗手間。
在谷歌大腦，每位級別相當于我的科學家，也即相當于一名初級教員，原本都應(yīng)該說是處于知識邊緣不斷探索的人，都在管理一個由10名研究生組成的團隊，在做著Graduate Student Descent。
谷歌可以擊敗堪薩斯大學，唯一的原因是他們每個研究人員可以雇用十倍以上的研究生。當然，不同之處在于，堪薩斯大學的研究生有機會做一些具有學術(shù)意義的事情。在Google Research卻無法如此。
他們不知道自己在做什么。他們有人力將深度學習應(yīng)用于任何事情，模擬薛定諤方程，藥物設(shè)計，你能想到的一切。他們的主要目標是找到谷歌可以產(chǎn)生最大影響的科學領(lǐng)域。
我訪問過50所大學。無論走到哪里，我都會遇到新的想法。但有一個例外：商業(yè)“研究”實驗室。
如果你想構(gòu)建能夠監(jiān)控人并且更快地向他們推銷更多廣告的機器，那就去這些實驗室。如果你想找到一個工人階級正在做的工作，然后對正在做這件事的男人或女人建模，然后建立一個網(wǎng)絡(luò)，取得這些人，那你更應(yīng)該去商業(yè)實驗室了。
我們用Google Research構(gòu)建的東西做過科學嗎？當然。我們有一篇很好的論文，用word2vec來幫助構(gòu)建解謎理論（a theory of puzzle solving）。
但我們原本可以建立一個跟word2vec同等效用的系統(tǒng)。這里面沒有任何學術(shù)智力上的貢獻。我不是在開玩笑。
我在一個晚上接到了一名頂級CS碩士研究生的電話，我們開始研究社會合作的問題。他想做深度學習。
僅僅兩周的時間，我們就比Google Brain正在做的更進一步。我并不是說在技術(shù)上——他們擁有大量豐富的YouTube視頻數(shù)據(jù)。但我們確實在學術(shù)貢獻上（intellectually）領(lǐng)先他們。
谷歌說他們也做了社會科學，但實際并非如此，他們做的只是分布在50多個GPU上的homo economicus（經(jīng)濟人）。買一份Bowles and Ginits，Cooperative Species，你會在一周內(nèi)學到更多東西。
你能在Google Brain做一些很酷的研究嗎？誠實的回答是：不能。你將處于機器學習的最前沿，沒有錯，但這是一個工程學科，其基本目標是由大公司設(shè)定的。你不會成為一名科學家（you will not be a scientist）。
我知道你可能需要賺錢。你可以在那里賺很多。去吧，我非常尊重你的選擇。學術(shù)界糟糕透了。
但是，如果你想要在你蓬勃發(fā)展的事業(yè)中的某些時刻，在你的思想和靈魂里，加入兩千年推進人類智力前進的努力，你不會在谷歌做到這一點。當然Facebook也不行。
如果你真的選擇后者，你還有一個選擇，那就是加入大學的研究生院，讀博。
你的收入不會很多，但你的導師將真正關(guān)心你的學術(shù)和智力發(fā)展。你很難高估優(yōu)秀的博士課程與產(chǎn)業(yè)之間的差異。如果你是一名優(yōu)秀的博士生導師，干擾學生的智力發(fā)展，實在是太可恥了。在谷歌，這一切都是一個商業(yè)計劃。
這些都不是開玩笑。這是十年的經(jīng)驗。研究生院的申請將在秋季開始。想一想吧。確保你得到一筆好的交易（你不應(yīng)該為讀博負擔債務(wù)，你也應(yīng)該得到醫(yī)保）。
簡而言之：企業(yè)“研究”是一個商業(yè)主張，無論管理層如何。鑒于這些公司對員工的密切監(jiān)控，現(xiàn)在這個差距微乎其微。
最后說件事：我們訪問了Google Research，那里的人聰明絕頂，令人難以置信。我們集思廣益，想出了各種精彩的研究思路。會議的最后一天，高校學者說，好，讓我們?nèi)ゾ瓢?，把這些想法再落實！
但他們的回答是：這是我們的業(yè)余工作（vacation），我們手頭真正的工作落后了，我們這個周末必須工作。 （不是“我們感到內(nèi)疚了認為周末該去做”，而是“我們必須”。）
對于學者來說，這就是工作。突然間，我意識到，這只是他們的業(yè)余項目罷了。
反駁：AI產(chǎn)業(yè)化是不可阻擋的趨勢，谷歌一直從事基礎(chǔ)科學研究
當然，DeDeo的言論一出，立即引發(fā)了眾多反駁之聲，有人說這是我見過最不著調(diào)的評論，在谷歌大腦和FAIR，有很多科學家在做著真正的基礎(chǔ)科研，雖然確實也有GSD（研究生調(diào)參），但完全與企業(yè)目標無關(guān)。
DeDeo的論調(diào)其實反映了一個早已有之的問題，那就是人才從學術(shù)界往產(chǎn)業(yè)界流動，這種趨勢實際上在兩年前就已經(jīng)在AI圈里得到熱議。
當時，還是加州大學伯克利分校人工智能和深度學習專家的 Pieter Abbeel（現(xiàn)在已經(jīng)自己創(chuàng)業(yè)，成立了covariant.ai）表示，如今的這股熱潮表明人工智能技術(shù)已經(jīng)發(fā)展到了能夠?qū)ΜF(xiàn)實世界產(chǎn)生影響的地步，而企業(yè)本身就是運用技術(shù)為社會提供產(chǎn)品和服務(wù)的。
荷蘭萊頓大學社會科學家 Robert Tijssen 表示，上世紀50年代，同樣的職業(yè)遷徙現(xiàn)象也在半導體研究中出現(xiàn)過，當時半導體領(lǐng)域的很多頂尖學者都被挖走，成為產(chǎn)業(yè)界研發(fā)實驗室的負責人。Robert Tijssen 對 Nature 記者說，這些學者將他們的專業(yè)知識帶入產(chǎn)業(yè)界，同時在產(chǎn)業(yè)里建立新的關(guān)系，而后又將這些產(chǎn)業(yè)關(guān)系反饋給原來學術(shù)界的同事和學生，達到典型的雙贏局面。
位于卡內(nèi)基·梅隆大學的美國國家機器人工程中心（US NREC）負責人 Herman Herman 對 Tijssen 的觀點表示贊同。2015年，NREC 與 Uber 合作，Uber 從 NREC 的 150 名研究員當中招走了將近 40人，主要是研究自動駕駛汽車的研究員。當時有報道稱 NREC 陷入危機，但 Herman 表示那個說法稍微言過其實；NREC 與 Uber 的合作項目只是卡內(nèi)基·梅隆大學機器人研究所幾十個項目中的一個，而機器人研究所有大約 500 名教職員工，這次人員調(diào)動對研究所來說正好是換新血的機會。而不久之后，Uber 就向機器人研究所捐資 550 萬美元，用于支付學生和教職工的獎學金。同時，這一事件的新聞性還提升了機器人研究所的知名度，學生提交申請數(shù)量也增多了。
Yoshua Bengio 也曾對學術(shù)界人才流失表示擔憂。他表示自己要堅守在學術(shù)界，不過，后來也成為微軟和加拿大AI創(chuàng)業(yè)公司ElementAI的顧問。
Hinton預(yù)計深度學習領(lǐng)域?qū)＜叶倘敝粫菚簳r的。本人就屬于谷歌大腦的的Hinton 告訴 Nature 記者，谷歌承認高校研究生項目的重要性。目前，谷歌資助了 250 多項學術(shù)研究項目和幾十個博士獎學金。
Jeff Dean：谷歌用機器學習解決人類重大難題
就在前不久，在清華大學人工智能研究院成立儀式上，同期舉行了清華-谷歌AI學術(shù)論壇。谷歌AI總負責人Jeff Dean也受聘成為清華大學計算機學科顧問委員會委員。
Jeff Dean在研討會第一天的主旨演講，題目是《用深度學習解決世界重大挑戰(zhàn)》。
Jeff Dean發(fā)表主旨演講：用深度學習解決重大挑戰(zhàn)
Jeff Dean介紹了，過去6年來，Google Brain團隊一直在研究人工智能中的難題，構(gòu)建用于機器學習研究的大型計算機系統(tǒng)，并與Google的許多團隊合作，將其研究和系統(tǒng)應(yīng)用于眾多Google產(chǎn)品當中。他們已經(jīng)在計算機視覺，語音識別，語言理解，機器翻譯，醫(yī)療保健，機器人控制等領(lǐng)域取得了重大進展。
谷歌在人工智能領(lǐng)域最終目標是三點：利用人工智能和機器學習讓谷歌的產(chǎn)品更加實用（Making products more useful）；幫助企業(yè)和外部開發(fā)者利用人工智能和機器學習進行創(chuàng)新（Helping others innovate）；為研究人員提供更好的工具，解決人類面臨的重大挑戰(zhàn)。
谷歌大腦與頂級高校以及科研和醫(yī)療機構(gòu)合作，從改善城市基礎(chǔ)設(shè)施到健康信息學再到人腦逆向工程，還有使用深度學習預(yù)測分子性質(zhì)，制作更好的藥物……這些全都是在對人類有意義的基礎(chǔ)科學。
深度學習目前還是只是工程，要尋求原理
然而，DeDeo的擔憂有一點是真切的——深度學習更多的是工程，雖然最近越來越多的人開始關(guān)注理論研究，但是，大量的調(diào)參和超強的算力，以及大數(shù)據(jù)，仍然是深度學習當下的必須。
周志華教授在今年4月發(fā)表了一場《關(guān)于深度學習的思考》的主題演講，其中提到，深度學習的理論基礎(chǔ)尚不清楚：
但是實際上在學術(shù)界大家一直沒有想清楚一件事情，就是我們?yōu)槭裁匆眠@么深的模型？今天深度學習已經(jīng)取得了很多的成功，但是有一個很大的問題，就是理論基礎(chǔ)不清楚。我們理論上還說不清楚它到底是怎么做，為什么會成功，里面的關(guān)鍵是什么？如果我們要做理論分析的話，我們先要有一點直覺，知道它到底為什么有用？這樣才好著手去分析。 但現(xiàn)在其實我們根本就不知道該從什么角度去看它。
周志華教授還指出，深度學習的可重復(fù)性低：
今天大家都非常關(guān)注我們做出來的結(jié)果的可重復(fù)性，不管是科學研究也好，技術(shù)發(fā)展也好，都希望這個結(jié)果可重復(fù)。 而在整個機器學習領(lǐng)域，可以說深度學習的可重復(fù)性是最弱的。我們經(jīng)常會碰到這樣的情況，有一組研究人員發(fā)文章說報告了一個結(jié)果，而這個結(jié)果其他的研究人員很難重復(fù)。因為哪怕你用同樣的數(shù)據(jù)，同樣的方法，只要超參數(shù)的設(shè)置不一樣，你的結(jié)果就不一樣。
總之，當前深度學習還有很多問題，機器學習也一樣。
不過，在哪里都能做真正的研究，尤其是AI領(lǐng)域產(chǎn)學研結(jié)合得越來越緊密的情況下，你覺得呢？
聯(lián)系客服
