【新智元導(dǎo)讀】2016年4月14日（周四）21:00 - 22:30，酷我創(chuàng)始人、北大大數(shù)據(jù)與機(jī)器學(xué)習(xí)中心聯(lián)合主任雷鳴先生以線上對(duì)話的方式，在微信群中與人工智能領(lǐng)域?qū)＜覅嵌鬟_(dá)（Andrew Ng）、徐偉對(duì)話，暢談深度學(xué)習(xí)的現(xiàn)在與未來(lái)。此次活動(dòng)一共有近10,000人參加。
吳恩達(dá)（Andrew Ng）：百度首席科學(xué)家，“百度大腦”、“谷歌大腦”負(fù)責(zé)人，斯坦福大學(xué)計(jì)算機(jī)科學(xué)系和電子工程系終身教授，人工智能實(shí)驗(yàn)室主任，Coursera聯(lián)合創(chuàng)始人
徐偉：百度IDL杰出科學(xué)家，前Facebook大規(guī)模推薦平臺(tái)負(fù)責(zé)人、NEC lab高級(jí)研究員
1）深度學(xué)習(xí)的技術(shù)現(xiàn)狀和未來(lái)發(fā)展
2）語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)和自然語(yǔ)言等領(lǐng)域的現(xiàn)狀、挑戰(zhàn)和未來(lái)發(fā)展預(yù)期3）自動(dòng)駕駛、機(jī)器人等AI技術(shù)產(chǎn)業(yè)化的未來(lái)預(yù)期和相關(guān)探索4）對(duì)于AI領(lǐng)域?qū)I(yè)人士的職業(yè)發(fā)展建議
深度學(xué)習(xí)的技術(shù)現(xiàn)狀和未來(lái)發(fā)展
【雷鳴】首先我們探討第一個(gè)問(wèn)題：深度學(xué)習(xí)的技術(shù)現(xiàn)狀和未來(lái)發(fā)展，是否會(huì)成為通用基礎(chǔ)技術(shù)？現(xiàn)在深度學(xué)習(xí)非?；馃?，被吹得神乎其神。這個(gè)技術(shù)是否會(huì)成為某種意義的終極技術(shù)？【徐偉】深度學(xué)習(xí)是為人工智能的一個(gè)重要部分。未來(lái)人工智能會(huì)是運(yùn)用非常廣泛的技術(shù)，所以深度學(xué)習(xí)也將被廣泛使用。【吳恩達(dá)】關(guān)于第二個(gè)問(wèn)題，現(xiàn)在確實(shí)有太多關(guān)于深度學(xué)習(xí)的夸大的宣傳。我認(rèn)為深度學(xué)習(xí)正在創(chuàng)造很多價(jià)值——幫助我們把海量數(shù)據(jù)轉(zhuǎn)化成巨大的價(jià)值；同時(shí)，我也相信深度學(xué)習(xí)在未來(lái)若干年仍將繼續(xù)創(chuàng)造巨大的價(jià)值——我們?nèi)杂刑嗟南敕ㄐ枰?shí)現(xiàn)，卻只有很少的人在做這些事情。但是，我們離真正人類水平的人工智能還相差甚遠(yuǎn)，而且也還沒(méi)有找到清晰的實(shí)現(xiàn)路徑。我認(rèn)為一些相關(guān)的炒作是不太負(fù)責(zé)任的。人工智能會(huì)對(duì)整個(gè)社會(huì)有很大的影響力，所以我認(rèn)為，對(duì)于我們來(lái)說(shuō)了解清楚它能帶來(lái)什么和不能帶來(lái)什么是非常重要的，所以我們需要制定相應(yīng)的規(guī)劃。
【雷鳴】一個(gè)問(wèn)題，如果在有比較充分的數(shù)據(jù)和運(yùn)算能力的條件下，是否深度學(xué)習(xí)可以超越幾乎所有的經(jīng)典的數(shù)據(jù)挖掘算法？【徐偉】可以說(shuō)對(duì)大多數(shù)監(jiān)督式學(xué)習(xí)問(wèn)題，深度學(xué)習(xí)會(huì)超越傳統(tǒng)的算法；對(duì)于一些非監(jiān)督學(xué)習(xí)的問(wèn)題，似乎還不是很明確。【雷鳴】@徐偉，那對(duì)于半監(jiān)督學(xué)習(xí)呢？【徐偉】目前為止一個(gè)比較成功的非監(jiān)督的例子是word embedding；不過(guò)也有很多人不認(rèn)為word embedding 是深度學(xué)習(xí)。另外word embedding 和傳統(tǒng)的非監(jiān)督學(xué)習(xí)也并不完全一樣，實(shí)際上運(yùn)用了上下文作為監(jiān)督。我認(rèn)為非監(jiān)督學(xué)習(xí)要取得成功，實(shí)際上更會(huì)使用類似這樣的弱監(jiān)督學(xué)習(xí)。【吳恩達(dá)】我同意徐偉的觀點(diǎn)。深度學(xué)習(xí)所創(chuàng)造的所有價(jià)值，現(xiàn)在大部分都是監(jiān)督學(xué)習(xí)，也就是學(xué)習(xí)相對(duì)簡(jiǎn)單的A-->B映射。舉例來(lái)說(shuō)：可能A是一封電子郵件，B表示A是或不是垃圾郵件，這就是一個(gè)垃圾郵件過(guò)濾器；或者A是一個(gè)圖像，B是一個(gè)對(duì)象標(biāo)簽，這就是物體識(shí)別。有了很多標(biāo)記過(guò)的數(shù)據(jù)（例如A,B配對(duì)）和一個(gè)足夠大的網(wǎng)絡(luò)，你可以證明一個(gè)深度學(xué)習(xí)算法可以以極高的精度學(xué)習(xí)任意函數(shù)。近期最激動(dòng)人心的重大突破之一就是：深度學(xué)習(xí)算法現(xiàn)在可以學(xué)習(xí)一個(gè)A-->B的映射，其中B不只是1 /0或一個(gè)整數(shù)（如前述的例子），而可以是非常復(fù)雜的事情，比如一句話。【雷鳴】@Andrew，你在說(shuō)自然語(yǔ)言嗎？是指的翻譯，語(yǔ)音識(shí)別，還是語(yǔ)義處理級(jí)別的？【吳恩達(dá)】例如：如果A是圖片，B是對(duì)應(yīng)的文字說(shuō)明，就是圖說(shuō) （第一篇論文由徐偉以及他的同事發(fā)表）；如果A是英語(yǔ)句子，B是法語(yǔ)句子，就是機(jī)器翻譯（可以參考Ilya Suskevar等人的研究）；如果A是圖片問(wèn)題對(duì)，B是相應(yīng)的答案，這個(gè)問(wèn)題就變成了基于圖像的QA問(wèn)題（也是徐偉的成果）。監(jiān)督學(xué)習(xí)在機(jī)器翻譯和語(yǔ)音識(shí)別里得到了廣泛的應(yīng)用。例如，在百度語(yǔ)音識(shí)別系統(tǒng)里，我們最大的成就之一是利用大規(guī)模的神經(jīng)網(wǎng)絡(luò)系統(tǒng)讓機(jī)器學(xué)習(xí)將語(yǔ)音片段映射到相應(yīng)的文本。坐在我身邊的Tony負(fù)責(zé)其中的普通話識(shí)別版本，我們相信這個(gè)系統(tǒng)是目前最好的普通話識(shí)別系統(tǒng)。【雷鳴】看起來(lái)不僅僅是語(yǔ)言，還包括了圖像，這個(gè)進(jìn)展是非常大的。語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等領(lǐng)域的現(xiàn)狀、挑戰(zhàn)和未來(lái)發(fā)展預(yù)期
【雷鳴】下面我們聊一下在一些領(lǐng)域，深度學(xué)習(xí)帶來(lái)的新的進(jìn)展。比如說(shuō)語(yǔ)音識(shí)別，我前些時(shí)間到百度美國(guó)研究院，看到Andrew給我演示的語(yǔ)音識(shí)別：在非常大的噪音環(huán)境下，我基本上聽(tīng)不出來(lái)里面的人說(shuō)什么，但是語(yǔ)音識(shí)別出來(lái)了；之后我仔細(xì)聽(tīng)，發(fā)現(xiàn)語(yǔ)音識(shí)別是對(duì)的。@Andrew，方便介紹一下全球在語(yǔ)音識(shí)別方面的最新進(jìn)展嗎？對(duì)于語(yǔ)音識(shí)別，隨著技術(shù)進(jìn)步，我們做出超過(guò)人對(duì)人聲識(shí)別的系統(tǒng)，是否是一個(gè)必然結(jié)果？【吳恩達(dá)】我認(rèn)為語(yǔ)音識(shí)別會(huì)逐步使用端到端的學(xué)習(xí)方法。在這些方法里，數(shù)據(jù)集的大小是影響性能的重要因素。最近我發(fā)現(xiàn)使用基于attention模型的結(jié)果很好。我們的工作也深受Alex Grave在CTC工作上的影響。目前還有兩個(gè)主要的挑戰(zhàn)：第一個(gè)是對(duì)于長(zhǎng)句子的識(shí)別。我們的語(yǔ)音識(shí)別系統(tǒng)，在沒(méi)有上下文的時(shí)候，對(duì)短句子的識(shí)別超過(guò)了人類的水平；然而在有上下文的情境下，比如在長(zhǎng)對(duì)話中，系統(tǒng)的識(shí)別效果還是不如人類。另一個(gè)主要的挑戰(zhàn)就是理解文本的內(nèi)容，而不僅僅是轉(zhuǎn)錄。盡管如此，我還是很期待建立一個(gè)語(yǔ)音驅(qū)動(dòng)的世界。就如喬布斯用觸摸屏改變了我們與手機(jī)交互的方式，我認(rèn)為語(yǔ)音會(huì)在未來(lái)進(jìn)一步改變我們與機(jī)器交互的方式。【徐偉】目前的語(yǔ)音識(shí)別系統(tǒng)還沒(méi)有像人那樣能夠很好的利用上下文信息。【雷鳴】另外一個(gè)問(wèn)題是關(guān)于圖片識(shí)別以及視頻內(nèi)容識(shí)別，全球的最新進(jìn)展如何？微軟最近的一個(gè)圖像識(shí)別的進(jìn)展，用了100多層的深度神經(jīng)網(wǎng)絡(luò)，得到了不錯(cuò)的效果。是否超深的神經(jīng)網(wǎng)絡(luò)，也是一個(gè)發(fā)展方向？【徐偉】對(duì)像ImageNet這樣的問(wèn)題，目前的deep residue net的結(jié)果已經(jīng)非常好了。目前我們也看到很深的模型在一些NLP也有很好的效果。對(duì)于視頻內(nèi)容，運(yùn)算能力還是一個(gè)重大的瓶頸；只有百萬(wàn)級(jí)別的數(shù)據(jù)，訓(xùn)練就需要數(shù)天。【雷鳴】對(duì)于計(jì)算機(jī)視覺(jué)，尤其是運(yùn)動(dòng)圖像（視頻）處理，當(dāng)前的進(jìn)展和挑戰(zhàn)如何？在自然語(yǔ)言對(duì)話領(lǐng)域，現(xiàn)在深度學(xué)習(xí)應(yīng)用的效果如何？【徐偉】目前深度學(xué)習(xí)模型最大的難點(diǎn)之一還是記憶以及知識(shí)表達(dá)，還有推理也是一個(gè)難點(diǎn)。【雷鳴】@徐偉，是否面臨的最大問(wèn)題，正如你上面說(shuō)的，是記憶和知識(shí)表達(dá)？【徐偉】深度學(xué)習(xí)模型還不能很好地利用已有知識(shí)庫(kù)。自動(dòng)駕駛、機(jī)器人等AI技術(shù)產(chǎn)業(yè)化的未來(lái)預(yù)期和相關(guān)探索
【雷鳴】下面我們聊一下一些實(shí)用的領(lǐng)域，比如現(xiàn)在百度大力發(fā)展的無(wú)人駕駛，這塊的挑戰(zhàn)和機(jī)遇是什么？對(duì)于無(wú)人駕駛，在5年內(nèi)我們真的能夠在大街上乘坐商用的無(wú)人駕駛汽車(chē)嗎？【吳恩達(dá)】我很幸運(yùn)我之前做過(guò)幾次無(wú)人車(chē)的項(xiàng)目。百度無(wú)人車(chē)項(xiàng)目是我第四次參與無(wú)人車(chē)研發(fā)了。但是這一次是我有生以來(lái)第一次感到前路如此的清晰，來(lái)讓無(wú)人駕駛成為現(xiàn)實(shí)！這也是我有生以來(lái)，第一次感到前路如此的清晰！下面是我之前幾次研發(fā)的無(wú)人車(chē)。
【吳恩達(dá)】在中國(guó)，每天都有500人死于車(chē)禍。我們的無(wú)人駕駛技術(shù)早實(shí)現(xiàn)一天，就相當(dāng)于多拯救了500人的生命，這將會(huì)是接下來(lái)的十年中，人工智能得到的最重要的應(yīng)用之一。為什么我覺(jué)得這一技術(shù)非常有希望實(shí)現(xiàn)呢？一方面，我們有著遠(yuǎn)超從前的復(fù)雜的深度學(xué)習(xí)算法。我們非常榮幸林元慶先生幾個(gè)月前加入百度，承擔(dān)其中的重要工作；另一方面，我們也制定了獨(dú)一無(wú)二的無(wú)人車(chē)發(fā)展戰(zhàn)略——鐵軌戰(zhàn)略。【雷鳴】@Andrew，你是說(shuō)給無(wú)人駕駛汽車(chē)規(guī)定路線？那我們五年內(nèi)有可能在大街上乘坐無(wú)人駕駛車(chē)嗎？【吳恩達(dá)】我們計(jì)劃在2018年開(kāi)始提供商用的無(wú)人駕駛服務(wù)，并在2020年前將其推廣普及。下面是“鐵軌戰(zhàn)略”的核心要點(diǎn)：
不要試圖將無(wú)人車(chē)一下子覆蓋到每個(gè)地方，先從局部展開(kāi)（比如固定路線或者小城市），然后逐步推廣。
計(jì)算機(jī)駕駛車(chē)輛和人駕駛車(chē)輛有所不同：計(jì)算機(jī)從不醉酒，但也不能理解交警的手勢(shì)。所以需要確保人們對(duì)無(wú)人車(chē)有切合實(shí)際的期望。
無(wú)人車(chē)設(shè)計(jì)要容易識(shí)別，這樣大家才能立刻認(rèn)出它們。
讓無(wú)人車(chē)的行為高度可預(yù)測(cè)，可預(yù)測(cè)甚至比智能更能保證安全。
在自動(dòng)駕駛區(qū)，適度改變一些基礎(chǔ)設(shè)施，保證無(wú)人車(chē)知道它們需要做什么。比如，給應(yīng)急人員配備同無(wú)人車(chē)交互的設(shè)備（例如無(wú)線航標(biāo)器），確保道路維護(hù)良好，劃線都很清晰等等。有了這些改變，我想無(wú)人車(chē)應(yīng)該很快就可以上路了。
我們?cè)诒本┖凸韫鹊膱F(tuán)隊(duì)都在快速壯大。在這一戰(zhàn)略的指導(dǎo)下，我們非常地興奮的看到，有大批的人都在申請(qǐng)加入我們，為“每天拯救500人”而努力！
【雷鳴】自動(dòng)駕駛，一個(gè)挺科幻的概念，再有幾年就滿大街都是，真讓人感慨技術(shù)發(fā)展速度啊。我們?cè)僬勔幌聶C(jī)器人，Google現(xiàn)在要銷售掉Boston Dynamics，讓人非常震驚！【吳恩達(dá)】是的！我想和在座的年輕人說(shuō)幾句話。我們處在一個(gè)獨(dú)特的時(shí)期，這是一個(gè)人工智能將會(huì)改變世界的時(shí)期。如果你知道怎么運(yùn)用人工智能，你今天的一個(gè)決策將有可能在接下來(lái)十年里改變世界。你的努力可能會(huì)拯救數(shù)以萬(wàn)計(jì)甚至百萬(wàn)計(jì)的生命?；蛟S，你可以改變整個(gè)行業(yè)，幫助無(wú)數(shù)的人。也正因如此，我對(duì)人工智能如此興奮！如果你還年輕，正在考慮未來(lái)的職業(yè)如何規(guī)劃，我希望你能夠考慮人工智能，加入百度或者其他地方的人工智能研發(fā)團(tuán)隊(duì)。讓我們一起讓世界變得更加美好！【雷鳴】@Andrew，這確實(shí)非常激動(dòng)人心！現(xiàn)在已經(jīng)有無(wú)數(shù)的人為AI癡迷?，F(xiàn)在的理科學(xué)生們確實(shí)都在學(xué)習(xí)機(jī)器學(xué)習(xí)。【吳恩達(dá)】我很高興聽(tīng)到有很多人對(duì)機(jī)器學(xué)習(xí)感興趣?，F(xiàn)在的問(wèn)題是機(jī)器學(xué)習(xí)的想法和機(jī)會(huì)太多，不過(guò)能做的人太少。世界需要更多懂人工智能的人。【雷鳴】@Andrew，你也多做一些好的在線課程，讓大家多學(xué)習(xí)！這次活動(dòng)，一共有20個(gè)大群，近10,000人參加，可見(jiàn)現(xiàn)在大家對(duì)AI是多么感興趣。【雷鳴】機(jī)器人真的離我們還非常遙遠(yuǎn)嗎？是否近5年都沒(méi)有巨大的商業(yè)化機(jī)會(huì)？【徐偉】功能非常專用的機(jī)器人，應(yīng)該還是會(huì)有很快的發(fā)展和應(yīng)用。但像人那樣的機(jī)器人，還比較遙遠(yuǎn)。self-driving car可能是最重要的一種。未來(lái)幾年內(nèi)，家用機(jī)器人還很難真正幫人做事。【雷鳴】現(xiàn)在銷售量最大的應(yīng)該是掃地機(jī)器人，不過(guò)很多人都覺(jué)得他們不像機(jī)器人。那么在未來(lái)幾年，會(huì)有那些機(jī)器人領(lǐng)域大放異彩？工業(yè)機(jī)器人？家庭機(jī)器人？服務(wù)機(jī)器人？【吳恩達(dá)】機(jī)器人在一些垂直細(xì)分的領(lǐng)域也有了很多令人振奮的應(yīng)用。除了無(wú)人駕駛，還有精準(zhǔn)農(nóng)業(yè)、電站自動(dòng)檢查、電子商務(wù)自動(dòng)取件、安全機(jī)器人等等。這些機(jī)器人中，大部分的硬件和軟件都是為了特定任務(wù)設(shè)計(jì)的，因此他們并非人形機(jī)器人。我認(rèn)為，真正的通用機(jī)器人（并非工廠里面的機(jī)械臂）離我們還有一些距離。【雷鳴】 你怎么看待亞馬遜的助理機(jī)器人Echo，它在美國(guó)非常流行。【吳恩達(dá)】我家里面就有一個(gè)Amazon Echo。我認(rèn)為這是基于語(yǔ)音的智能家庭的一個(gè)很好的開(kāi)始，但這一新的產(chǎn)業(yè)現(xiàn)在仍然處于最早期。亞馬遜的產(chǎn)品給我留下很深的印象，但是從長(zhǎng)期來(lái)講，我認(rèn)為現(xiàn)在來(lái)討論這個(gè)產(chǎn)品是否正確仍然為時(shí)尚早。【吳恩達(dá)】不過(guò)我的確認(rèn)為在將來(lái)，我們可以與家里面所有的設(shè)備對(duì)話，讓它們理解并且能回應(yīng)我們。我期待幾十年后，我們的孩子們會(huì)對(duì)我們今天的生活感到非常神秘。他們會(huì)感到非常不可思議，當(dāng)你和家里的微波爐講話時(shí)，它居然會(huì)不搭理你！
AI領(lǐng)域?qū)I(yè)人士的職業(yè)發(fā)展建議
【雷鳴】對(duì)于AI從業(yè)的人士，Andrew有什么職業(yè)發(fā)展建議？【吳恩達(dá)】人工智能發(fā)展的如此迅猛，從事這一行業(yè)的我們應(yīng)該不斷的學(xué)習(xí)。再一次，我想跟在座的年輕人共勉：每個(gè)周六，你可以選擇看美劇，也可以選擇學(xué)習(xí)。如果你學(xué)習(xí)，兩天后的周一，你不會(huì)很快的就在工作中出彩，你的老板也不會(huì)知道你花了整天的時(shí)間學(xué)習(xí)，更不會(huì)夸獎(jiǎng)你什么。你幾乎找不到任何東西可以證明你在努力學(xué)習(xí)。但是我想告訴大家：如果你每個(gè)周末都這樣努力工作，持之以恒，你會(huì)發(fā)現(xiàn)你已經(jīng)突飛猛進(jìn)。我認(rèn)為，學(xué)習(xí)是一件幾乎沒(méi)有短期回報(bào)的事，但是從長(zhǎng)遠(yuǎn)來(lái)看，回報(bào)卻是非常豐厚的。
【吳恩達(dá)】所以，一個(gè)巨大的挑戰(zhàn)——我想大家都會(huì)遇到的挑戰(zhàn)——就是讓我們自己始終充滿動(dòng)力地學(xué)習(xí)，日復(fù)一日，年復(fù)一年！【徐偉】說(shuō)到reward, 延遲很久的reward目前也是deep reinforcement learning很難處理的一點(diǎn)。【雷鳴】@徐偉，對(duì)人類也相當(dāng)復(fù)雜的問(wèn)題，對(duì)機(jī)器學(xué)習(xí)也一樣啊。
【問(wèn)】End to end的方法，對(duì)數(shù)據(jù)的依賴有多高？機(jī)器學(xué)習(xí)如何提高對(duì)數(shù)據(jù)的學(xué)習(xí)和處理能力，而不是所有的數(shù)據(jù)必須人工標(biāo)注后才能使用？如果不能解決這個(gè)問(wèn)題，AI如何真正的進(jìn)化？【徐偉】所以需要Agent在環(huán)境中能主動(dòng)地獲取數(shù)據(jù)，像人那樣。【問(wèn)】深度學(xué)習(xí)應(yīng)用在自然語(yǔ)言處理方面感覺(jué)還是不怎么理想。有這么一種說(shuō)法：圖像是你直接看到的，語(yǔ)言卻是人類抽象之后的；特別是將深度學(xué)習(xí)應(yīng)用在貼吧的帖子，或者電商網(wǎng)站上的評(píng)論數(shù)據(jù)，貌似效果都不如人為的規(guī)則 傳統(tǒng)的模型。你們?cè)趺纯茨兀?/section>【徐偉】人類對(duì)話還涉及了大量的知識(shí)的運(yùn)用，目前深度學(xué)習(xí)還很缺乏這一點(diǎn)。在較少依賴語(yǔ)言的一些NLP問(wèn)題上（比如機(jī)器翻譯），我們的試驗(yàn)顯示深度學(xué)習(xí)目前已經(jīng)可以超越傳統(tǒng)模型了。【問(wèn)】在傳統(tǒng)的機(jī)器學(xué)習(xí)任務(wù)上，模型選擇一直是個(gè)問(wèn)題。現(xiàn)在深度學(xué)習(xí)給人的感覺(jué)是要比傳統(tǒng)的svm、決策樹(shù)、或者boosting等都要好，但是實(shí)際應(yīng)用中真是這樣嗎？像搜索排序、推薦等問(wèn)題，業(yè)界已經(jīng)成熟運(yùn)用深度學(xué)習(xí)了嗎？【吳恩達(dá)】 謝謝你的問(wèn)題。是的，深度學(xué)習(xí)是業(yè)界在許多重要任務(wù)上所使用的效果最好的算法，包括檢索、推薦等等。一般的情況是這樣的：如果你的訓(xùn)練集相對(duì)較小，那么最終的效果更多地取決于你手動(dòng)設(shè)計(jì)特征的技巧上，深度學(xué)習(xí)同SVM、boosting、決策樹(shù)等傳統(tǒng)方法相比就沒(méi)有很大的優(yōu)勢(shì)。但是在大數(shù)據(jù)領(lǐng)域——也就是你可以獲得龐大的帶標(biāo)記的訓(xùn)練集——那么有監(jiān)督的深度學(xué)習(xí)往往更合適。這種情況的部分原因是由于深度學(xué)習(xí)是“大容量的”（也就是很高的VC維，如果你知道這個(gè)的具體含義）。這個(gè)特點(diǎn)使它與其它的許多算法相比能更好地處理非常大的數(shù)據(jù)集。深度學(xué)習(xí)模型往往比傳統(tǒng)方法，比如非線性核SVM具有更好的數(shù)據(jù)擴(kuò)展性，這讓我們可以構(gòu)建基于大量數(shù)據(jù)集的訓(xùn)練模型。為了幫助大家更直觀地理解，這里用一個(gè)圖表情節(jié)來(lái)幫助解釋我對(duì)于深度學(xué)習(xí)同傳統(tǒng)算法的性能比較整體趨勢(shì)的觀點(diǎn)。
【問(wèn)】請(qǐng)問(wèn)兩位老師：第一個(gè)問(wèn)題，怎樣用深度學(xué)習(xí)做點(diǎn)擊率預(yù)測(cè)CTR？其中一個(gè)難點(diǎn)在于輸入特征維度高而且sparse，深度學(xué)習(xí)針對(duì)這類問(wèn)題怎么解決？第二個(gè)問(wèn)題，深度學(xué)習(xí)在推薦方面有什么好的方法？【徐偉】其實(shí)這是深度學(xué)習(xí)的一個(gè)優(yōu)勢(shì)，把高位稀疏直接作為輸入，它學(xué)到的是類似embedding一樣的東西。所以，我的問(wèn)題是能否將一些在NLP（自然語(yǔ)言處理）上的方法應(yīng)用到生物學(xué)問(wèn)題上？如果可以，那哪個(gè)方法最有可能呢？——在NLP中應(yīng)用最廣泛的模型是遞歸模型。它們已經(jīng)在解決生物學(xué)問(wèn)題上有所應(yīng)用了。【問(wèn)】您知道有什么方面AI（人工智能）實(shí)際上能幫助擴(kuò)展或者訓(xùn)練人類的智能嗎？例如谷歌的alphaGO，專業(yè)的圍棋選手是否可能通過(guò)學(xué)習(xí)它的推理過(guò)程獲得提升？【吳恩達(dá)】其實(shí)從Gary Kasparov輸給深藍(lán)之后，這種情況就發(fā)生了?，F(xiàn)在的象棋選手可以通過(guò)向電腦棋手學(xué)習(xí)或者與其對(duì)戰(zhàn)而提高自己的水平。我也聽(tīng)說(shuō)了關(guān)于圍棋這方面的消息，但是這么說(shuō)還為時(shí)尚早。更一般地說(shuō)，我看到了許多計(jì)算機(jī)可以來(lái)彌補(bǔ)人腦的機(jī)會(huì)。我對(duì)在線教育很感興趣，我認(rèn)為像Coursera和網(wǎng)易公開(kāi)課都是一個(gè)很好的開(kāi)始；我希望隨著時(shí)間的推移，在線教育將來(lái)可以更加靈活、更能適應(yīng)需求，可能會(huì)成為大家的私人導(dǎo)師。【問(wèn)】對(duì)于醫(yī)學(xué)影像處理，收集大規(guī)模、準(zhǔn)確以及帶標(biāo)記的數(shù)據(jù)是非常困難的。請(qǐng)問(wèn)我們?nèi)绾翁岣咝阅埽?/span>【吳恩達(dá)】深度學(xué)習(xí)目前在大規(guī)模數(shù)據(jù)的應(yīng)用上取得了許多唾手可得的成果。如果你并沒(méi)有大的訓(xùn)練數(shù)據(jù)，那么短期來(lái)看，你只能從更傳統(tǒng)的工程方法入手（包括細(xì)心設(shè)計(jì)你的特征提?。?。稍微往前來(lái)看，有許多激動(dòng)人心的其他形式的學(xué)習(xí)方法，包括遷移學(xué)習(xí)、半監(jiān)督學(xué)習(xí)以及無(wú)監(jiān)督學(xué)習(xí)——以及其他一些我們現(xiàn)在沒(méi)法想像的方法——能幫助我們?cè)谛∮?xùn)練集上也能取得更好的性能。百度和其他機(jī)構(gòu)都在這些領(lǐng)域積極開(kāi)展研究。我認(rèn)為沒(méi)有誰(shuí)現(xiàn)在已經(jīng)找到了最佳算法，但是我可以看到每年都會(huì)有許多進(jìn)步。【徐偉】人類在基于小規(guī)模樣本進(jìn)行學(xué)習(xí)上有著令人的能力，這一部分依賴于人類的建模能力，一部分來(lái)源于可以向其他人學(xué)習(xí)的能力。深度學(xué)習(xí)目前還缺少這些能力。【問(wèn)】深度學(xué)習(xí)網(wǎng)絡(luò)會(huì)進(jìn)化到能夠進(jìn)行邏輯思考嗎？或者說(shuō)邏輯思考與深度學(xué)習(xí)方法在本質(zhì)上相差甚遠(yuǎn)，所以我們需要其他的方法來(lái)彌補(bǔ)深度學(xué)習(xí)網(wǎng)絡(luò)？【徐偉】目前為止，還沒(méi)有好的方法去進(jìn)化一個(gè)大型的深度學(xué)習(xí)模型（但在小模型的進(jìn)化上有一些研究）。所以，能否讓深度學(xué)習(xí)網(wǎng)絡(luò)具有邏輯思辯能力就取決于研究者設(shè)計(jì)的新的模型。但是我認(rèn)為深度學(xué)習(xí)是有可能實(shí)現(xiàn)這一點(diǎn)的，這個(gè)判斷是基于深度學(xué)習(xí)在NLP上取得的飛速進(jìn)展。【雷鳴】回答結(jié)束，那我們就結(jié)束今天的講座吧。很高興和各位分享交流！非常感謝幾位嘉賓在百忙之中參加活動(dòng)！【吳恩達(dá)】 謝謝大家的熱情，這么晚的時(shí)間還在和我與徐偉交流。我們也希望未來(lái)會(huì)有更多的機(jī)會(huì)和中國(guó)的人工智能人士交流，也希望會(huì)有機(jī)會(huì)來(lái)支持中國(guó)的人工智能發(fā)展！【徐偉】謝謝大家的非常好的問(wèn)題。時(shí)間有限，不能一一解答。我們今天的溝通到此結(jié)束！謝謝大家！
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
