機器學習圣杯：圖靈獎得主Bengio和LeCun稱自監(jiān)督學習可使AI達到人類智力水平
來源：venturebeat等
編輯：夢佳、雅新
【新智元導讀】 人工智能的智力水平一朝一日會和人類平起平坐嗎？圖靈獎得主Yoshua Bengio和Yann LeCun在本屆2020 ICLR大會上發(fā)表觀點稱，自監(jiān)督學習有望使AI產(chǎn)生類人的推理能力。Bengio相信機器最終將習得關(guān)于這個世界的各種知識，不需要機器去親身體驗，而是通過習得語言化的知識來實現(xiàn)?！感轮窃逼钢鞴P、高級主任編輯，添加HR微信（Dr-wly）或掃描文末二維碼了解詳情?！?/h5>在2020的ICLR線上大會上，蒙特利爾學習算法研究所主任、圖靈獎得主Yoshua Bengio和Facebook 的副總裁兼首席人工智能科學家Yann LeCun，坦率地談到了未來AI的研究趨勢。 根據(jù)兩位大咖的說法，自我監(jiān)督學習可能使AI產(chǎn)生類人的推理能力 。 交易擔保 新智元 Bengio和LeCun稱自監(jiān)督學習是AI實現(xiàn)人類智力水平的關(guān)鍵！ 小程序
監(jiān)督式學習需要在有標注的數(shù)據(jù)集上訓練AI模型，而 LeCun 認為隨著自我監(jiān)督學習的廣泛應(yīng)用，這種訓練模式的作用將逐漸減弱。自監(jiān)督學習算法不再依賴標注，而是通過揭示數(shù)據(jù)各部分之間的關(guān)系，從數(shù)據(jù)中生成標簽 。 自監(jiān)督學習是一種機器學習的「理想狀態(tài)」，重點在于如何自動生成數(shù)據(jù)標簽，這一步驟被認為對于實現(xiàn)人類水平的智能至關(guān)重要 。舉一個例子，例如輸入一張圖片，把圖片隨機旋轉(zhuǎn)一個角度，然后把旋轉(zhuǎn)后的圖片作為輸入，隨機旋轉(zhuǎn)的角度作為標簽。 很多網(wǎng)友比較關(guān)注的一個問題是，自監(jiān)督學習和無監(jiān)督學習是一個意思嗎？ 自監(jiān)督類似無監(jiān)督學習，都是從沒有明確標簽的數(shù)據(jù)中進行學習。但無監(jiān)督學習側(cè)重于學習數(shù)據(jù)的內(nèi)在關(guān)系、結(jié)構(gòu)，比如clustering、grouping、density estimation, or anomaly detection等等，而自監(jiān)督是根據(jù)數(shù)據(jù)集本身生成標簽。 為了進一步解釋自監(jiān)督學習，LeCun做了類比，「不管是我們?nèi)祟悾€是動物，在學習大多數(shù)事物時，都是在自我監(jiān)督的模式下進行的 ，而不是強化學習模式。這個模式本質(zhì)上就是觀察這個世界，然后不斷與之增進互動，這種觀察是自發(fā)的，而不是在測試條件下完成的 。」LeCun表示， 「這種學習方式，比較難以用機器來復(fù)制?！?/section>其中，不確定性是阻礙自監(jiān)督學習成功的主要障礙。 數(shù)據(jù)的分布是這樣一個表，它將變量所有可能的值與其出現(xiàn)的概率聯(lián)系起來。在變量是離散的情況下，它們可以很好地表示不確定性，這就是為什么像Google BERT這樣的架構(gòu)如此成功。但目前，研究人員尚未找到一種方法來有效地表示連續(xù)變量的分布。
在斯坦福對話問答數(shù)據(jù)集上測試時，BERT 實現(xiàn)了93.2% 的準確率，分別優(yōu)于最先進的機器學習水平和人類水平 。斯坦福問答數(shù)據(jù)集是一個閱讀理解的數(shù)據(jù)集，包含了一組維基百科文章中提出的問題。在通用語言理解評估基準測試（一個用于培訓和評估NLP系統(tǒng)的資源集合上，BERT的準確率達到了80.4% 。 LeCun認為，找到一種能表示連續(xù)分布的模型，就會有新突破。 Lecun 指出，連續(xù)分布問題的一個解決方案是利用基于能量的模型（EBM），它能夠?qū)W習數(shù)據(jù)集中的數(shù)學元素，并生成類似的數(shù)據(jù)集。 此前，OpenAI開發(fā)了一種基于能量的模型，可以快速學會識別和生成概念，例如附近，上，中，最近和最遠等，并表示為2D點集。模型僅在五次演示后學習了這些概念。
從過去的研究中看，這種形式的建模一直難以應(yīng)用到實際當中，但Open AI 2019年的研究表明，這種基于能量的模型可以支持復(fù)雜的拓撲（topologies）。 Bengio 在研討中表示，他相信人工智能研究可以從神經(jīng)科學領(lǐng)域受益頗多，特別是意識和意識處理的探索方面 。當然收益也是雙向的，一些神經(jīng)科學家正在使用卷積神經(jīng)網(wǎng)絡(luò)作為視覺系統(tǒng)的腹側(cè)通路。 Bengio預(yù)測，新的研究將闡明高級語義變量與大腦如何處理信息（包括視覺信息）之間的關(guān)系。而這些變量是人類語言交流所用的，它們可能會衍生出新一代的深度學習模型。 「通過與基礎(chǔ)語言學習相結(jié)合，我們可以取得很多進展，歸根結(jié)底我們都在打造能夠理解這個世界的模型，以及高層次的概念是如何相互關(guān)聯(lián)的。這是一種聯(lián)合式的分布，」Bengio 說?！?strong>我相信，人類的意識處理過程，利用的是有關(guān)世界如何變化的假設(shè)，這些假設(shè)可以理解成為一種更高層次的表達方式。簡單來講，就是我們看到世界的變化，然后想到一句話來解釋這種變化。」 想要實現(xiàn)人類智力，另一大難題就是背景知識。正如 LeCun 所解釋的，大多數(shù)人可以在30小時內(nèi)學會駕駛汽車，因為他們已經(jīng)憑借直覺構(gòu)建了一個關(guān)于汽車行動方式的物理模型。相比之下，現(xiàn)在無人駕駛汽車所采用的強化學習模型要從零開始學起---- 他們必須犯上成千上萬次的錯誤，才能做出正確的操作 。 LeCun表示，「顯然，我們需要能夠構(gòu)建模型來學習世界，這就是進行自監(jiān)督學習的原因——運行預(yù)測世界模型，能夠讓系統(tǒng)進行更快地學習。從概念上講，這相當簡單，除非是在那些我們無法完全預(yù)測的不確定環(huán)境中?！?/section>LeCun 認為，想要實現(xiàn)通用人工智能（AGI），就算有自監(jiān)督學習和神經(jīng)科學學習的加持，也是不夠的。 通用人工智能（AGI ）是指機器獲得人類水平的智能。一些研究人員將通用人工智能稱為強AI（strong AI）或者完全AI（full AI），或稱機器具有執(zhí)行通用智能行為（general intelligent action）的能力。 他表示，這是因為智力，尤其是人類的智力，是非常特殊的 。「AGI 是不存在的，根本沒有通用人工智能這回事。我們可以談?wù)摾鲜笏降闹橇?、貓的智力、狗的智力，或者人類的智力，但還根本談不上通用人工智能。」LeCun說。 但是Bengio相信機器最終將習得關(guān)于這個世界的各種知識，這個過程不需要機器去親身體驗，而是通過習得可以語言化的知識來實現(xiàn)。 「我認為這也是人類的一個巨大優(yōu)勢，相比于其他動物來說，」他說?！肝艺J為，人類之所以聰明，是因為我們有我們自己的文化，讓我們能夠解決這個世界的問題。要想讓人工智能在現(xiàn)實世界中發(fā)揮作用，我們需要它不僅僅是能夠翻譯的機器，而是能夠真正理解自然語言的機器 。」 自監(jiān)督學習背后的核心想法，是開發(fā)一種深度學習系統(tǒng)，可以通過學習填補AI未知的領(lǐng)域。 LeCun曾在今年四月份AAAI會議演講中談到，「我認為自監(jiān)督學習是AI的未來。這將使我們的AI系統(tǒng)，深度學習系統(tǒng)更上一層樓，或許AI可以通過觀察獲取有關(guān)世界足夠多的背景知識，從而形成一些基本常識?！?/section>自我監(jiān)督學習的主要好處之一是AI能夠主動輸出巨大的信息量。在強化學習中，訓練AI系統(tǒng)是在標量級別執(zhí)行的，模型會收到一個數(shù)值作為對其行為的獎勵或懲罰。在監(jiān)督學習中，AI系統(tǒng)為每個輸入結(jié)果預(yù)測類別或數(shù)值。 在自監(jiān)督學習中，輸出結(jié)果將涉及到整個圖像或是一組圖像，「自監(jiān)督學習輸出的信息量很大。要讓AI學習相同量的有關(guān)世界的知識，自監(jiān)督學習需要的樣本量也更少。」 LeCun說。 我們必須弄清楚不確定性問題是如何運作的，當尋到解決方案時，我們將會解鎖AI未來的關(guān)鍵。 LeCun說，「如果說人工智能是一塊蛋糕，那么自監(jiān)督學習就是其中最大的一塊。 」 參考鏈接：
https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報 。
