【AI WORLD 2017世界人工智能大會(huì)倒計(jì)時(shí)26天】
昨天，在RE·WORK蒙特利爾深度學(xué)習(xí)峰會(huì)上，“AI三巨頭”Geoffrey Hinton、Yoshua Bengio和Yann LeCun有史以來(lái)頭一遭，不僅出現(xiàn)在同一個(gè)活動(dòng)中，而且聚集在同一個(gè)panel里，分享了他們對(duì)前沿研究進(jìn)展的展望，并討論了加拿大人工智能和深度學(xué)習(xí)生態(tài)系統(tǒng)的格局。
來(lái)自麥吉爾大學(xué)的Joelle Pineau主持了這場(chǎng)討論，她以十分有趣的方式開(kāi)場(chǎng)，請(qǐng)三大神介紹站在自己旁邊的人，整個(gè)禮堂立馬充滿了笑聲。
Yoshua Bengio率先開(kāi)了頭，他說(shuō)：“這是Yann，我在讀碩（Master）期間遇到了他，當(dāng)時(shí)他正跟著Geoff一起做博士后，后來(lái)Yann請(qǐng)我去和他一起工作，開(kāi)始研究卷積神經(jīng)網(wǎng)絡(luò)，到今天這仍然是個(gè)熱門課題！”
接著，Yann LeCun介紹Geoffrey Hinton，LeCun說(shuō)：“我也來(lái)回顧一下歷史，我還是本科生的時(shí)候研究了神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)在上世紀(jì)70年代這方面沒(méi)有研究發(fā)表。我看到一篇題為《優(yōu)化感知推理》（Optimal Perceptual Inference）的文章，Geoff是三位作者之一。我讀了這篇論文，知道我必須見(jiàn)見(jiàn)Geoffery?！?/p>
最后輪到Hinton，他開(kāi)玩笑說(shuō)，他或許是Bengio論文的導(dǎo)師（supervisor），但他實(shí)際上已經(jīng)不記得了。Hinton繼續(xù)說(shuō)：“那是一篇非常好的論文，將神經(jīng)網(wǎng)絡(luò)用于語(yǔ)音識(shí)別。Yoshua和我在加拿大做得很好，因?yàn)榧幽么笾С只A(chǔ)研究。如今領(lǐng)域發(fā)展得非常快，我現(xiàn)在已經(jīng)跟不上Yoshua的節(jié)奏了！每個(gè)星期都有好幾篇arXiv論文出來(lái)，Yoshua在attention方面的工作令我印象非常深刻。我感覺(jué)Yoshua年紀(jì)是最小的，他還有一些路要走，但不幸的是我認(rèn)為他已經(jīng)追上我們了！現(xiàn)在Yoshua在他的領(lǐng)域里已經(jīng)做出了跟Yann在CNN上同樣大的影響力。”
以下是現(xiàn)場(chǎng)討論實(shí)錄：
能談一下現(xiàn)在和上世紀(jì)八九十年代研究深度學(xué)習(xí)，在深度學(xué)習(xí)領(lǐng)域工作的區(qū)別嗎？
Bengio：在那時(shí)，你可以全身心投入研究，一點(diǎn)干擾也沒(méi)有。當(dāng)時(shí)的環(huán)境跟現(xiàn)在完全不同。當(dāng)我們幾個(gè)遇到彼此的時(shí)候，情況跟現(xiàn)在還是有一些類似的，但神經(jīng)網(wǎng)絡(luò)還是邊緣研究，才開(kāi)始了5到10年的樣子。上世紀(jì)90年代初，神經(jīng)網(wǎng)絡(luò)火過(guò)一陣子，企業(yè)也是真的大力投入，有過(guò)一些炒作，所以跟現(xiàn)在還是有些類似的。但是，現(xiàn)在神經(jīng)網(wǎng)絡(luò)是真的能用了。
LeCun：我認(rèn)為神經(jīng)網(wǎng)絡(luò)在當(dāng)那時(shí)候也能用??！但是，60年代研究感知的人認(rèn)為神經(jīng)網(wǎng)絡(luò)不是一個(gè)有價(jià)值的方向，所以他們開(kāi)始各種改名字改叫法，按他們的方式去做，造成了巨大的實(shí)際影響。
Hinton：他們都太年輕啦，根據(jù)不記得這回事！
LeCun：現(xiàn)在的AI教科書(shū)里，還有很多那時(shí)候的東西，上世紀(jì)90年代的神經(jīng)網(wǎng)絡(luò)，早就過(guò)時(shí)了，但現(xiàn)在還被當(dāng)做參考，它們是有用，但是它們不是通往AI的路徑。很多我們今天使用的技術(shù)，也將以同樣的方式廣為傳播，也將以同樣的方式傳給下一代、下下一代，除非我們找到讓這些技術(shù)能夠繼續(xù)有用、往前發(fā)展的下一步，否則現(xiàn)在的很多技術(shù)也將會(huì)死亡。
Hinton：同意Yann的觀點(diǎn)！
在你的眾多論文中，有什么是我們應(yīng)該注意但卻忽略了的嗎？
Hinton：比h-index少一個(gè)引用數(shù)的那篇吧（笑）。我在2008/9年寫了一篇文章，使用矩陣來(lái)對(duì)關(guān)系（relationship）和概念（concept）建模。給定3個(gè)東西，你要根據(jù)前兩個(gè)推斷出第3個(gè)。我在2000年初做了很多工作，基本上是早期的嵌入。有人說(shuō)我該放棄這項(xiàng)工作，因?yàn)檎撐闹兄挥幸粋€(gè)非自我引用！我的想法是，不是用向量表示對(duì)象，矩陣表示概念，而是用矩陣來(lái)表示這兩者，這樣就能表示關(guān)系的關(guān)系。我們教它 3 + 2 等于 5，然后教它 2 和 + 在一起是 +2，系統(tǒng)產(chǎn)生的輸出從來(lái)沒(méi)有見(jiàn)過(guò)“+”這個(gè)概念，所以它必須學(xué)習(xí)自己。這篇論文得了個(gè) 2、2、3的評(píng)分（滿分10分）。后來(lái)，我把論文發(fā)給認(rèn)知科學(xué)那邊，他們也不喜歡，說(shuō)：“如果我對(duì)論文的理解是正確的，那這篇論文真是太棒了，但我認(rèn)為我們的讀者不會(huì)對(duì)這個(gè)感興趣！”
Bengio：我都沒(méi)有提交我的論文，因?yàn)槲抑揽隙〞?huì)被拒！那篇論文的想法是，為了學(xué)習(xí)我們需要其他人的指導(dǎo)，這里就不多說(shuō)了。
隨著時(shí)間的推移，你們幾位取得的共識(shí)似乎越來(lái)越多?，F(xiàn)在你們被稱為“深度學(xué)習(xí)三巨頭”，但還有什么是你們彼此之間存有巨大分歧的？
Bengio：這是坑嗎？我不跳哦！
Hinton：政治！但我們對(duì)美國(guó)的政治看法都相同。
LeCun：相比問(wèn)題本身，或許我們對(duì)解決問(wèn)題的方法有不同的意見(jiàn)。有段時(shí)間，Geoff用概率……
Bengio：凡是有關(guān)概率的事情，Yann一點(diǎn)都不想知道，他把Geoff叫做概率警察。
現(xiàn)在有很多人在做深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)會(huì)在AI里一直存在嗎，還是說(shuō)其他領(lǐng)域會(huì)興起？
Bengio：我們絕對(duì)需要在現(xiàn)有基礎(chǔ)上發(fā)展新的想法。這些想法將受到我們現(xiàn)有技術(shù)和概念的啟發(fā)，并將成為創(chuàng)造新東西的基礎(chǔ)。
LeCun：這些概念將被參數(shù)化并且繼續(xù)發(fā)展——它們不會(huì)消失，但光是現(xiàn)在這樣顯然是不夠的，所以我們需要考慮新的架構(gòu)——很多人都在積極探索動(dòng)態(tài)架構(gòu)（dynamic architecture），自然語(yǔ)言處理也有很多有趣的事情發(fā)生。我們還需要更多的訓(xùn)練超大規(guī)模學(xué)習(xí)系統(tǒng)的方法——這可能不是最終的答案，還可能有舊的想法再次火起來(lái)。接下來(lái)還會(huì)出現(xiàn)這樣一些方法，那就是將深度學(xué)習(xí)和推理這樣更離散的東西連接起來(lái)。
Bengio：我們需要找到方法，讓ML和DL重新拿起目標(biāo)函數(shù)，并用新的方法來(lái)訓(xùn)練和教育這些目標(biāo)函數(shù)，這對(duì)AI來(lái)說(shuō)是至關(guān)重要的。
Hinton：Yann和Yoshua還認(rèn)為——最大的困難并不是找到一個(gè)無(wú)監(jiān)督學(xué)習(xí)的目標(biāo)函數(shù)。我在92年發(fā)表了一篇將空間一致性作為目標(biāo)函數(shù)的論文。有了這個(gè)以后，我們能夠?qū)W習(xí)更多的層，了解更多的東西。我們還能訓(xùn)練自編碼器。
雖然具體解決時(shí)間我們還不知道，但你們認(rèn)為下一個(gè)挑戰(zhàn)和我們會(huì)解決的下一個(gè)問(wèn)題是什么？
LeCun：在Facebook，有一個(gè)團(tuán)隊(duì)是做星際爭(zhēng)霸的。這個(gè)游戲比圍棋更難，因?yàn)樗褂脩?zhàn)略，有多個(gè)智能體，各種技術(shù)——你不知道你的同伴在做什么，在韓國(guó)星際是職業(yè)競(jìng)技的一種，非常具有挑戰(zhàn)性?，F(xiàn)在有一些玩星際的bot，但都不在人類的水平。Facebook和DeepMind的團(tuán)隊(duì)正在使用機(jī)器學(xué)習(xí)玩星際，我認(rèn)為我們會(huì)在這方面看到一些進(jìn)展。但是，下一個(gè)真正改變?nèi)祟惿睿⑶椅覀兛梢越鉀Q的問(wèn)題，是如何訓(xùn)練一輛汽車自動(dòng)駕駛——有沒(méi)有辦法做到完全自動(dòng)并且安全？
Bengio：我實(shí)際上最近也在做這樣一個(gè)項(xiàng)目。一個(gè)AI游戲，里面有一個(gè)人和一個(gè)AI嬰兒。人需要使用自然語(yǔ)言來(lái)教育這個(gè)AI，告訴它什么是什么，總之做所有一般父母都會(huì)做的事情。這些都在虛擬環(huán)境中發(fā)生。這個(gè)游戲是為了讓人用最好、最快捷的方式來(lái)訓(xùn)練AI，而不必?fù)?dān)心其他太多問(wèn)題。這個(gè)項(xiàng)目很棒，因?yàn)槭怯螒?，?duì)于參與的人而言很有趣，也有助于收集大量的數(shù)據(jù)，讓我們了解如何使用強(qiáng)化學(xué)習(xí)來(lái)確定自然語(yǔ)言和環(huán)境之間的相關(guān)性。
在AI中，有沒(méi)有一些問(wèn)題，讓你覺(jué)得如果把它們都解決了，你就可以退休了？
Bengio：有一些真正困難的問(wèn)題還有待解決，這很有趣！我想知道機(jī)器如何發(fā)現(xiàn)高表征（High Representations）來(lái)解釋世界。關(guān)于解釋世界，現(xiàn)在有一些通用的假設(shè)，它們短期內(nèi)在統(tǒng)計(jì)學(xué)意義上是有效的，這非常簡(jiǎn)單，但是要真正解決起來(lái)就沒(méi)那么簡(jiǎn)單了。
Hinton：對(duì)我來(lái)說(shuō)，會(huì)產(chǎn)生影響的一個(gè)特殊的事情是自然語(yǔ)言處理和語(yǔ)言理解。有一些句子，像“獎(jiǎng)杯放不到手提箱里，因?yàn)樗×恕被蛘摺蔼?jiǎng)杯放不到手提箱里，因?yàn)樗罅恕?，在第一個(gè)是“它”指手提箱（太?。?，而后面的“它”指獎(jiǎng)杯（太大了）。因?yàn)檎Z(yǔ)言結(jié)構(gòu)的原因，我們能推斷出這一點(diǎn)，但如果你把這些句子翻譯成法語(yǔ)，還有其他一些因素要考慮：機(jī)器是否正確區(qū)分和使用了陽(yáng)性和陰性詞？所以它必須理解背景。如果一臺(tái)機(jī)器可以成功地完成這些翻譯，那么就說(shuō)明它們真正了解發(fā)生了什么。但是我認(rèn)為，這需要比現(xiàn)在的機(jī)器翻譯大約大1000倍的性能才能正常工作。如果我們能夠做到這一點(diǎn)，機(jī)器會(huì)掌握所有的常識(shí)。它會(huì)說(shuō)服那些固守傳統(tǒng)的人，AI的成功并不是偶然，而是機(jī)器真的了解發(fā)生了什么。我認(rèn)為可能在10年內(nèi)可以做到這一點(diǎn)。
Bengio：我想我們應(yīng)該讓機(jī)器學(xué)習(xí)解釋什么是睡覺(jué)和為什么要睡覺(jué)。我覺(jué)得很奇怪，人們不會(huì)質(zhì)疑為什么我們要把生命的三分之一以上的時(shí)間花在睡覺(jué)上。但如果你剝奪了人們睡覺(jué)的權(quán)利，他們會(huì)發(fā)瘋的！我們喜歡8個(gè)小時(shí)的睡眠，但是我們卻不知道為什么。我強(qiáng)烈地認(rèn)為，睡覺(jué)會(huì)這一活動(dòng)會(huì)告訴我們，究竟人們是如何進(jìn)行學(xué)習(xí)的。
LeCun：我們?nèi)绾巫寵C(jī)器獲得常識(shí)？無(wú)監(jiān)督學(xué)習(xí)？代表空間的目標(biāo)函數(shù)？可能需要10或20年，我們不知道。
Hinton：又或者只需要一周的時(shí)間。
拋開(kāi)技術(shù)問(wèn)題，談?wù)剛惱怼男﹤惱矸矫娴膯?wèn)題最有可能讓你夜不能寐？
Bengio：對(duì)我來(lái)說(shuō)，是對(duì)AI 和我們所開(kāi)發(fā)的產(chǎn)品的錯(cuò)誤使用。例如，我對(duì)在智能武器裝備中使用AI特別敏感 ，這可能是非常危險(xiǎn)的。我認(rèn)為政府應(yīng)該簽署條約。此外，以操縱AI的方式進(jìn)行廣告宣傳，對(duì)民主來(lái)說(shuō)可能是真正危險(xiǎn)的。最后，AI落在錯(cuò)誤的人手中的問(wèn)題真的很麻煩。
LeCun：如果被心懷惡意的用戶使用，這可能是非常糟糕的。事實(shí)上，機(jī)器學(xué)習(xí)方法確實(shí)可能會(huì)被用在一些糟糕的場(chǎng)景中，造成損害。例如，當(dāng)你使用有偏見(jiàn)的數(shù)據(jù)訓(xùn)練機(jī)器時(shí)，機(jī)器會(huì)有偏見(jiàn)，當(dāng)你訓(xùn)練系統(tǒng)時(shí)，會(huì)復(fù)制訓(xùn)練它的人的行為。這是技術(shù)問(wèn)題，也是道德問(wèn)題——我們?nèi)绾蜗?jiàn)？AI在公眾中的形象可能會(huì)因此變得黯淡，所以我們必須積極主動(dòng)做出改變。我正在與“The Partnership in AI”合作，我們一起提出了部署測(cè)試的指導(dǎo)綱要，以保證安全。
對(duì)于從事AI工作的年輕人，有什么建議？
Hinton：如果你有一個(gè)強(qiáng)烈的直覺(jué)，認(rèn)為自己有一個(gè)很好的主意，但其他人都說(shuō)“不”。那么注意，它不是一個(gè)壞的想法，它實(shí)際上是一個(gè)原創(chuàng)的想法。然后想想，你應(yīng)該好好研究你的這個(gè)“好主意”嗎？如果你有良好的直覺(jué)，那么就在你的想法上開(kāi)始工作。如果你沒(méi)有良好的直覺(jué)，你做什么都不重要！
Bengio：我的建議是，聽(tīng)Hinton的。
LeCun：我們?nèi)齻€(gè)人非常直觀，我們通過(guò)直覺(jué)提出了概念和想法，雖然有時(shí)其他人告訴我們這是不可行的。所以一些最有趣的想法不是最復(fù)雜的，但是要實(shí)現(xiàn)它的方式可能是。令人驚訝的是，人們需要這么長(zhǎng)時(shí)間才能認(rèn)識(shí)到一些事情是好的想法！
原文鏈接：https://re-work.co/blog/interview-yoshua-bengio-yann-lecun-geoffrey-hinton
【AI WORLD 2017世界人工智能大會(huì)倒計(jì)時(shí)26天】
聯(lián)系客服
