在本周舉行的國(guó)際表征學(xué)習(xí)大會(huì)(ICLR)上，圖靈獎(jiǎng)獲得者、蒙特利爾學(xué)習(xí)算法研究所所長(zhǎng)Yoshua Bengio簡(jiǎn)要介紹了AI和機(jī)器學(xué)習(xí)技術(shù)的未來(lái)。
今年2月，他在美國(guó)科學(xué)促進(jìn)會(huì)(AAAI)舉辦的人工智能2020年大會(huì)上與圖靈獎(jiǎng)得主Geoffrey Hinton和Yann LeCun一起發(fā)表了講話。
Bengio
但在周一發(fā)表的一次演講中，Bengio再次闡述了注意力機(jī)制。
注意力機(jī)制（Attention），即人（或算法）一次專注于單個(gè)元素或多個(gè)元素的機(jī)制，是機(jī)器學(xué)習(xí)中的一種數(shù)據(jù)處理方法，廣泛應(yīng)用在自然語(yǔ)言處理、圖像識(shí)別及語(yǔ)音識(shí)別等各種不同類型的機(jī)器學(xué)習(xí)任務(wù)中。
它也是機(jī)器學(xué)習(xí)模型架構(gòu)(如谷歌的Transformer)的核心，是意識(shí)瓶頸(即人們的注意力資源是有限的)的核心。
目前，注意力模型已經(jīng)在自然語(yǔ)言處理等領(lǐng)域取得了最先進(jìn)的成果，它們可以成為企業(yè)人工智能的基礎(chǔ)，能幫助員工完成一系列需要認(rèn)知的任務(wù)。
Bengio在其著作《Thinking, Fast and Slow》中描述了以美國(guó)心理學(xué)和經(jīng)濟(jì)學(xué)家丹尼爾·卡尼曼(Daniel Kahneman)提出的認(rèn)知系統(tǒng)。
第一種是無(wú)意識(shí)的——它是直覺(jué)的和快速的，非語(yǔ)言和習(xí)慣性的，它只處理隱性的知識(shí)。
第二種是有意識(shí)的——它是語(yǔ)言和算法的，它結(jié)合了推理和計(jì)劃，以及明確的知識(shí)形式。
有意識(shí)系統(tǒng)的一個(gè)有趣特性是，它能在新情況下重新組合語(yǔ)義概念，Bengio指出這是人工智能和機(jī)器學(xué)習(xí)算法的一個(gè)理想特性。
目前的機(jī)器學(xué)習(xí)方法還沒(méi)有從無(wú)意識(shí)轉(zhuǎn)變到有意識(shí)，但是Bengio相信這種轉(zhuǎn)變是完全有可能的。
他指出，神經(jīng)科學(xué)研究表明，涉及意識(shí)思維的語(yǔ)義變量通常是因果關(guān)系——它們涉及的是意圖或可控對(duì)象。
現(xiàn)在，人們開(kāi)始明白，語(yǔ)義變量和思想之間存在映射關(guān)系（例如，單詞和句子之間的關(guān)系），并且可以將概念重新組合以形成陌生的新概念。
Bengio解釋說(shuō)，注意力機(jī)制是這個(gè)過(guò)程中的核心要素之一。
在此基礎(chǔ)上，他和同事在最近的一篇論文中提出了循環(huán)獨(dú)立機(jī)制(RIMs)，這是一種新的模型架構(gòu)，其中多個(gè)單元組獨(dú)立運(yùn)作，僅通過(guò)注意力機(jī)制進(jìn)行有限的交流。
他們表明，這使得RIM專業(yè)化，反過(guò)來(lái)又能提高在訓(xùn)練和評(píng)估之間存在差異因素的任務(wù)的泛化能力。
Bengio說(shuō):“這使得agent能夠更快地適應(yīng)分布的變化或……推理，從而了解發(fā)生變化的原因。”
他概述了從無(wú)意識(shí)向有意識(shí)系統(tǒng)轉(zhuǎn)變所面臨的一些重大挑戰(zhàn)，包括確定模型元學(xué)習(xí)(或理解數(shù)據(jù)中包含的因果關(guān)系)的方法，以及加強(qiáng)機(jī)器學(xué)習(xí)和強(qiáng)化學(xué)習(xí)之間的整合。
他相信，生物學(xué)和AI研究之間的相互作用，最終能打開(kāi)機(jī)器的大門(mén)，讓它們能夠像人類一樣進(jìn)行推理，甚至表達(dá)情感。
“神經(jīng)科學(xué)對(duì)意識(shí)進(jìn)行了研究……在過(guò)去幾十年里取得了很大進(jìn)展。我認(rèn)為現(xiàn)在是機(jī)器學(xué)習(xí)考慮這些成就并將它們納入機(jī)器學(xué)習(xí)模型的時(shí)候了?！?/p>
聯(lián)系客服
