九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

最初的類人智能出現(xiàn)在幾百萬年前的非洲大陸，并持續(xù)進化，最終在大約 10 萬年前，在我們?nèi)祟愡@一物種——智人的大腦中達到頂峰。

作為現(xiàn)代人類，我們只能想象我們遠古的祖先凝視夜空，思考物質(zhì)現(xiàn)實的本質(zhì)，內(nèi)省地窺視自己的內(nèi)心，思考自己的心理現(xiàn)實本質(zhì)時的感受。

在過去幾百年里，我們?nèi)祟愅ㄟ^發(fā)現(xiàn)控制空間、時間、物質(zhì)和能量行為的基本數(shù)學(xué)規(guī)律，在對物理現(xiàn)實 (physical reality) 的精確理解方面取得了巨大的智力進步。這些基本數(shù)學(xué)規(guī)律現(xiàn)在被編纂在量子力學(xué)和廣義相對論的大框架中。

然而，在探索心理現(xiàn)實 (mental reality) 本質(zhì)方面，我們?nèi)詣倓傞_始。特別是，人類智能是如何從由 1000 億個神經(jīng)元通過 100 萬億個突觸連接而成的生物有機體中產(chǎn)生的？

神經(jīng)科學(xué)、心理學(xué)和認知科學(xué)等現(xiàn)代學(xué)科在過去 100 年里取得了許多重要進展，為攻克這個大問題奠定了基礎(chǔ)。事實上，正如奧巴馬在 2013 年宣布美國大腦計劃 (United States Brain Initiative) 時所解釋的那樣，“揭開我們兩耳之間三磅重物質(zhì)之謎”的時機已經(jīng)成熟。

但是，當涉及到我們自己的心智能力時，對于現(xiàn)代人來說，僅僅理解它們是不夠的。我們也非常希望在無生命的系統(tǒng)中重建這些能力，這些系統(tǒng)有時是以我們自己的形象為基礎(chǔ)構(gòu)建的。

從本質(zhì)上說，人類作為進化的產(chǎn)物，有時渴望扮演創(chuàng)造者的角色。從瑪麗 · 雪萊的《弗蘭肯斯坦》到艾薩克 · 阿西莫夫的《我，機器人》，這種渴望滲透在人類文學(xué)作品中。

事實上，人工智能 (AI) 這一新興領(lǐng)域，經(jīng)常與神經(jīng)科學(xué)、心理學(xué)和認知科學(xué)領(lǐng)域合作，在創(chuàng)造具有某些類人能力的機器方面取得了巨大進展。在這篇文章里，我將進一步探討人工智能、神經(jīng)科學(xué)、心理學(xué)和認知科學(xué)，以及數(shù)學(xué)、物理和社會科學(xué)等學(xué)科過去是怎樣、以及未來如何共同合作，追求交織在一起的對理解和創(chuàng)造智能系統(tǒng)的探索。

在過去的 60 多年里，AI 深受神經(jīng)科學(xué)和心理學(xué)的影響，并且確實受到神經(jīng)科學(xué)和心理學(xué)的啟發(fā)。早期，許多 AI 從業(yè)者在神經(jīng)科學(xué)和心理學(xué)方面做了一些很好的研究。這里我列舉了神經(jīng)科學(xué)、心理學(xué)和人工智能之間相互影響的一些事實：

• 由相對簡單的元素 (神經(jīng)元) 組成的分布式網(wǎng)絡(luò)，能夠完成源自神經(jīng)科學(xué)、如今以神經(jīng)網(wǎng)絡(luò)形式滲透到現(xiàn)代人工智能系統(tǒng)中的人類智能的驚人計算。這一觀點并不總是顯而易見的，直到大約一百年前，在高爾基和卡哈爾之間著名的辯論之后，這一觀點才變得堅定起來。

• 各種降維技術(shù)，包括多維尺度和因子分析，最初是在心理測量學(xué)研究的背景下發(fā)展起來的。

• 著名神經(jīng)學(xué)家赫拉斯 · 巴洛 (Horace Barlow) 提出了分解代碼的思想，這一思想反過來又啟發(fā)了獨立分量分析 (ICA) 和當前的 AI 研究，旨在解開數(shù)據(jù)變異的獨立因素。

• 托爾曼對認知地圖的研究提供了證據(jù)，證明即使是老鼠也能形成對世界的心理模型，并能利用這些模型進行規(guī)劃和導(dǎo)航。這鞏固了內(nèi)部模型形成是動物智能的關(guān)鍵組成部分這一觀點，這是目前人工智能研究的前沿。

• Hopfield network 是理論神經(jīng)科學(xué)的一個模型，為思考分布式、結(jié)合存儲的存儲器和檢索提供了一個統(tǒng)一的框架，也啟發(fā)了玻耳茲曼機，這反過來又為證明深度神經(jīng)網(wǎng)絡(luò)模型的成功提供了關(guān)鍵的一步，并啟發(fā)了許多弱約束的分布式滿足作為 AI 計算模型的想法。

• 目前主宰機器視覺的深層卷積網(wǎng)絡(luò)的關(guān)鍵組成部分直接受到大腦的啟發(fā)。這些成分包括腹側(cè)流的分層視覺處理，表明深度的重要性；視網(wǎng)膜拓撲映射 (retinotopy) 作為整個視覺皮層的組織原理的發(fā)現(xiàn)，啟發(fā)了卷積；簡單和復(fù)雜的細胞的發(fā)現(xiàn)，啟發(fā)了如最大池化等操作；以及皮層內(nèi)神經(jīng)歸一化的發(fā)現(xiàn)，推動了人工網(wǎng)絡(luò)中的各種歸一化階段。

• 將稀疏編碼作為理解初級視覺皮層中定向邊緣檢測器起源的一種嘗試而進行的開創(chuàng)性工作，這啟發(fā)了將稀疏編碼作為現(xiàn)代人工智能系統(tǒng)的基本構(gòu)建塊。

• 像時序差分學(xué)習(xí) (temporal difference learning) 這樣的算法，現(xiàn)在已經(jīng)成為強化學(xué)習(xí)的基礎(chǔ)，其靈感來源于經(jīng)典條件反射的動物實驗。

• 反過來，強化學(xué)習(xí)對基底神經(jīng)節(jié)手術(shù)的解釋產(chǎn)生了巨大的影響，其中多巴胺能神經(jīng)元為基底神經(jīng)節(jié)提供了非常重要的獎勵預(yù)測誤差信號，該信號驅(qū)動了許多強化學(xué)習(xí)算法中的學(xué)習(xí)。

• 大腦中記憶系統(tǒng)的模塊化啟發(fā)了現(xiàn)代記憶神經(jīng)網(wǎng)絡(luò)，它在一定程度上將存儲器存儲和決定何時從存儲器中讀寫的執(zhí)行控制電路的操作分開。

• 人類注意力系統(tǒng)激發(fā)了注意力神經(jīng)網(wǎng)絡(luò)，這些神經(jīng)網(wǎng)絡(luò)可以被訓(xùn)練來動態(tài)地關(guān)注或忽略其狀態(tài)和輸入的不同方面，以進行未來的計算決策。

• 形式生成語法在語言學(xué)和認知科學(xué)中的發(fā)展，導(dǎo)致了概率語法和句法分析在 CS 和 AI 領(lǐng)域的發(fā)展。

• 像 dropout 這樣的現(xiàn)代正則化技術(shù)受到神經(jīng)動力學(xué)內(nèi)在隨機性的啟發(fā)。

盡管目前人工智能系統(tǒng)在有監(jiān)督的模式識別任務(wù)上已經(jīng)取得了巨大的商業(yè)成功，但在模仿真正的人類智能方面，我們還有很長的路要走。在這里，我概述了生物和人工智能領(lǐng)域可以攜手前進的一些方向。

信用分配問題可能是神經(jīng)科學(xué)和人工智能領(lǐng)域最大的開放性問題之一。夸張點說，假設(shè)你正在打網(wǎng)球，你的一個擊球失誤了。這應(yīng)該責(zé)怪你的 100 萬億個突觸中的哪一個？大腦是如何在你的運動系統(tǒng)中找到正確的突觸組并糾正它，尤其是當錯誤發(fā)生幾百毫秒內(nèi)通過視覺系統(tǒng)傳遞的時候?

在人工智能中，這種信用分配問題在很多情況下是通過錯誤的反向傳播，通過多層計算來解決的。然而，目前還不清楚大腦是如何解決這個問題的。我們只知道，大腦使用一個局部學(xué)習(xí)規(guī)則 (local learning rule)：即每個突觸僅使用實際可用的信息來調(diào)整強度，例如由突觸連接的兩個神經(jīng)元的電活動，附近其他突觸的強度，以及反映獎勵和錯誤的任何神經(jīng)調(diào)節(jié)輸入。

闡明這些局部突觸規(guī)則是什么、以及它們?nèi)绾喂ぷ?，可能會?AI 產(chǎn)生重大影響，使得在神經(jīng)形態(tài)芯片上實現(xiàn)并行學(xué)習(xí)成為可能，從而避免反向傳播的通信開銷。

但更普遍的情況是，找到一個困擾神經(jīng)科學(xué)和人工智能的常見未解問題，應(yīng)該會促使研究取得進展，通過將生理學(xué)家、計算神經(jīng)科學(xué)家和人工智能研究者聚集在一起，共同解決生物學(xué)上合理的信用分配問題。要成功應(yīng)對這一重大挑戰(zhàn)，可能需要將實驗知識、理論和工程技術(shù)結(jié)合起來。

生物神經(jīng)模型和人工神經(jīng)模型之間的一個主要區(qū)別在于我們模擬連接神經(jīng)元的突觸的方式。在人工神經(jīng)網(wǎng)絡(luò)中，突觸是由單個標量值來模擬的，這個標量值反映了一個乘法增益因子，它轉(zhuǎn)換了突觸前神經(jīng)元的輸入如何影響突觸后神經(jīng)元的輸出。

相比之下，每個生物突觸內(nèi)都隱藏著極其復(fù)雜的分子信號通路。例如，海馬突觸隱藏在我們對最近事件的記憶之下，每個突觸都包含一個由數(shù)百種不同類型分子組成的化學(xué)反應(yīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠?qū)崿F(xiàn)具有復(fù)雜時間處理能力的整個動力系統(tǒng)。

看到這樣的復(fù)雜性，理論家或工程師可能會傾向于簡單地忽略它，認為它是進化過程中偶然產(chǎn)生的生物混亂。然而，理論研究表明，這種突觸復(fù)雜性可能確實對學(xué)習(xí)和記憶至關(guān)重要。

更普遍的情況是，我們目前的 AI 系統(tǒng)很可能忽略了生物突觸的動態(tài)復(fù)雜性，僅僅關(guān)注表格上體現(xiàn)的性能提升。正如我們在網(wǎng)絡(luò)中增加了空間深度來實現(xiàn)復(fù)雜的層次表示一樣，我們也可能需要在突觸中增加動態(tài)深度來實現(xiàn)復(fù)雜的時間學(xué)習(xí)能力。

單個突觸內(nèi)的復(fù)雜分子狀態(tài)有助于學(xué)習(xí)和記憶。(參考： A memory frontier for complex synapses.)

通常，當前的商業(yè) AI 系統(tǒng)涉及的訓(xùn)練網(wǎng)絡(luò)具有相對同質(zhì)的分層結(jié)構(gòu)或從隨機權(quán)重表開始的遞歸結(jié)構(gòu)。然而，對于更復(fù)雜的任務(wù)來說，這可能是一個很難解決的問題。

事實上，生物進化走的道路截然不同。所有脊椎動物最后的共同祖先生活在 5 億年前。從那以后，它的原始大腦一直在進化，形成了大約 1 億年前的哺乳動物大腦，和大約幾百萬年前的人類大腦。這種不間斷的進化鏈導(dǎo)致了復(fù)雜的大腦結(jié)構(gòu)和高度保守的計算元素，以及巨大的系統(tǒng)級模塊化。

事實上，我們目前缺乏任何工程設(shè)計原理能解釋像大腦這樣復(fù)雜的傳感、通信、控制和記憶網(wǎng)絡(luò)如何在 5 億多年的時間里不斷地擴大規(guī)模和復(fù)雜性，同時又不會失去在動態(tài)環(huán)境中自適應(yīng)運作的能力。因此，AI 從大腦的系統(tǒng)級結(jié)構(gòu)中獲取線索可能非常有趣。

一個關(guān)鍵的系統(tǒng)特性是功能和解剖層次上的模塊化。大腦并不像我們目前的 AI 架構(gòu)一樣是同質(zhì)的，而是有不同的模塊，比如海馬體 (用于輔助情景記憶和導(dǎo)航)、基底神經(jīng)節(jié)(基礎(chǔ)強化學(xué)習(xí)和行為選擇) 和小腦(運動控制和更高層次的認知)。

此外，人腦中的記憶系統(tǒng) (習(xí)慣性記憶、運動技能、短期記憶、長期記憶、情景記憶、語義記憶) 在功能上也是模塊化的；不同的患者可能在一種記憶上有缺陷，而在另一種記憶上沒有缺陷。

又如，在運動系統(tǒng)中，嵌套反饋回路結(jié)構(gòu)占主導(dǎo)地位，簡單的快速回路通過脊髓在 20 毫秒內(nèi)就能實現(xiàn)自動運動校正，稍慢的智能回路通過運動皮層在 50 毫秒內(nèi)能實現(xiàn)更復(fù)雜的運動校正，最后，流經(jīng)整個大腦的視覺反饋實現(xiàn)有意識的運動錯誤糾正。

最后，所有哺乳動物大腦的一個主要特征是由大量相似的 6 層皮質(zhì)柱組成的新皮層，所有這些柱狀結(jié)構(gòu)都被認為是在一個標準的計算模塊上實現(xiàn)變化的。

總的來說，經(jīng)過 1 億年進化而來的現(xiàn)代哺乳動物大腦非凡的模塊性，表明這種系統(tǒng)級模塊化可能有利于實現(xiàn)人工智能系統(tǒng)，當前的從白紙狀態(tài)開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)方法對于實現(xiàn)更一般的人類智能是不可行的。

5 億年來，脊椎動物大腦的進化創(chuàng)造了一個高度異構(gòu)和模塊化的計算系統(tǒng)。

AI 系統(tǒng)與 human-like learning 之間的另一個主要區(qū)別在于，AI 系統(tǒng)要接近人類水平的表現(xiàn)，需要大量的標記數(shù)據(jù)。

例如，最近的語音識別系統(tǒng)使用 11940 小時的語音進行訓(xùn)練，并有對應(yīng)的文本語料。如果我們每天花 2 小時看和聽另一個人大聲朗讀文本，需要 16 年才能獲得這么大的數(shù)據(jù)集。

AlphaGo zero 自我對弈了 490 萬場圍棋，才擊敗了人類圍棋大師。如果一個人話 30 年的時間，每天必須要下 450 場才能達到 AlphaGo zero 的練習(xí)量。

此外，最近的一個關(guān)于可視化問答的數(shù)據(jù)集包含 0.25M 的圖像、0.76M 的問題和~ 10M 的答案。如果我們每天收到 100 個關(guān)于圖像的問題的答案，那么我們需要 274 年的時間才能接觸到這么大的數(shù)據(jù)集。

很明顯，在所有這些情況下，人類接收到的帶標簽的訓(xùn)練數(shù)據(jù)要少得多，但人類能夠很好地識別語音、下圍棋和回答有關(guān)圖像的問題。

彌合人工智能和生物智能之間這一鴻溝的幾個關(guān)鍵在于，人類從無標記數(shù)據(jù)中學(xué)習(xí) (無監(jiān)督學(xué)習(xí)) 的能力，以及從解決先前任務(wù)時獲得的強大先驗知識，并將這些知識轉(zhuǎn)移到新任務(wù) (轉(zhuǎn)移學(xué)習(xí)) 的能力。

最后，人類社會已經(jīng)建立了教育系統(tǒng)，包括精心選擇的任務(wù)序列的設(shè)計，以促進知識的獲取 (課程設(shè)計)。

為了在人工系統(tǒng)中有效地實例化這些概念，我們需要對人類和其他動物如何進行無監(jiān)督學(xué)習(xí)、如何在任務(wù)之間傳遞知識以及如何優(yōu)化課程等問題有更深層次的理解和數(shù)學(xué)形式化。這些領(lǐng)域的進步，需要計算機科學(xué)家、心理學(xué)家和教育工作者的相互合作，這可能是減少當前 AI 系統(tǒng)令人望而卻步的數(shù)據(jù)需求的關(guān)鍵。在其他標記數(shù)據(jù)稀缺的領(lǐng)域，它們對于增強 AI 的能力至關(guān)重要。

Taskonomy：斯坦福大學(xué)進行的一項關(guān)于 26 項不同視覺任務(wù)之間的遷移學(xué)習(xí)的研究

當前成功商用的 AI，多是監(jiān)督學(xué)習(xí)模型。AI 被動獲取輸入，人為調(diào)參糾正輸出的結(jié)果。

但是反觀人類，即使是嬰兒也可以主動去探索周圍環(huán)境，具有學(xué)習(xí)和利用世界模型的卓越能力。 

舉個例子。我們可以玩?zhèn)€小魔術(shù)，給嬰兒看兩個東西，A 好像是可以穿墻而過；B 好像撒手后不會掉下來。

把這兩個東西教給嬰兒后，嬰兒拿到 A 會嘗試去把它推進硬質(zhì)表面；而拿到 B 則會撒手，看看它到底會不會掉下來。

你看，嬰兒不需要人為去糾正結(jié)果，而是會去主動去探索結(jié)果。這個非凡的實驗表明：

1. 嬰兒的腦海中已經(jīng)建立起物理世界運作規(guī)律的模型

2. 能夠注意到違反物理世界運作規(guī)律的事件

3. 積極驗證上述事件收集數(shù)據(jù)，并主動根據(jù)模型選擇訓(xùn)練數(shù)據(jù)

這個實驗給了我們很大啟發(fā)，即：從經(jīng)驗中學(xué)習(xí)世界模型，并使用這些世界模型來制定未來的行動規(guī)劃，以及進行決策。

該系統(tǒng)直接將世界狀態(tài)映射到值或預(yù)期的未來獎勵，人工智能中的這項工作可以與神經(jīng)科學(xué)的工作攜手并進，揭示動物的神經(jīng)活動如何與想象的和實現(xiàn)的未來相關(guān)。 

此外，好奇心等基本驅(qū)動因素可以化為強化學(xué)習(xí)系統(tǒng)，以促進學(xué)習(xí)和探索。 

這種基于模型的規(guī)劃和決策，可能是當前無模型強化學(xué)習(xí)系統(tǒng)的有力輔助。進一步深入理解促進動物和人類學(xué)習(xí)的內(nèi)在生物驅(qū)動，可能對加速人工智能的學(xué)習(xí)非常有益。

科學(xué)家發(fā)現(xiàn)嬰兒的感官體驗統(tǒng)計數(shù)據(jù)有了新的變化

生物系統(tǒng)和人工智能系統(tǒng)之間的另一個數(shù)量級差異，在于它們的能量消耗。 同樣的計算量，人腦僅消耗 20 瓦的功率，而超級計算機則以兆瓦的功率運行。

造成這種差異有兩個愿意。首先，可能是因為數(shù)字計算本身需要在計算的中間階段，以極高的可靠性翻轉(zhuǎn)每一個 bit。

相對的，生物計算像是讓一群猴子敲代碼，嘈雜又不精確；可每個中間步驟卻非?？煽?，導(dǎo)致最終結(jié)果是精準的。

另外，大腦還會智能地，根據(jù)所需的通信速度調(diào)節(jié)能量成本，只在需要更高速度且僅需要更高可靠性時，才會消耗更多能量。而數(shù)字計算機的每個時鐘周期，都需要消耗大量的能量。 

我們以大腦中遍歷目標神經(jīng)元的單個 bit 所需的成本為例 [18]。

首先，囊泡的隨機釋放化學(xué)信號，以 1 毫米 / 秒的速度擴散到源神經(jīng)元和目標神經(jīng)元之間的空間，僅消耗 2.3fJ 能量（考慮到神經(jīng)元連接之間的距離只有 20 納米，這個速度完全沒有問題）。

然后，該化學(xué)信號被轉(zhuǎn)換為無源電信號，再以 1 米 / 秒的速度流過神經(jīng)元細胞體，橫穿約 10 微米燃燒 23fJ。 

最后到達軸突終端并轉(zhuǎn)換為長軸，沿著軸突以 100 米 / 秒的速度行進 1cm，消耗 6000fJ。 

可以看到，在從化學(xué)信號傳遞到被動電信號時，大腦動態(tài)地將通信速度上調(diào) 1000 倍，以跨越增加 1000 倍的距離，從而導(dǎo)致能量消耗增加 10 倍。 

類似地，在從被動到主動電信號傳輸?shù)倪^程中，大腦將通信速度提高 100 倍，以跨越增加 1000 倍的距離，從而導(dǎo)致能量消耗增加約 200 倍。

所以生物計算的混亂模式，反而可能反映出高能效的設(shè)計原則，值得我們借鑒到 AI 硬件中。

Neurogrid：由硅實驗室的斯坦福大腦開發(fā)的一種生物啟發(fā)的神經(jīng)形態(tài)計算機

最近，神經(jīng)科學(xué)和人工智能之間的相互作用的發(fā)展，綜合深度和復(fù)發(fā)神經(jīng)網(wǎng)絡(luò)模型的發(fā)展，成功構(gòu)建出動物的在對應(yīng)不同任務(wù)時，調(diào)用不同大腦區(qū)域的模型。例如腹側(cè)視覺流，聽覺皮層，前額皮質(zhì)，運動皮質(zhì)和視網(wǎng)膜。 

我們驚奇的發(fā)現(xiàn)，當訓(xùn)練深度或復(fù)發(fā)網(wǎng)絡(luò)來解決任務(wù)時，其內(nèi)部活動模式，與測量出來的（解決相同任務(wù)的）動物內(nèi)部神經(jīng)活動模式非常相似。 

這就涉及到一個基本問題：我們?nèi)绾卫斫膺@些模型正在做什么以及它們?nèi)绾喂ぷ?？也就是說，如何解決 AI 神經(jīng)網(wǎng)絡(luò)的可解釋性？

某些應(yīng)用場景，尤其像醫(yī)學(xué)診斷或和法律，AI 必須是透明的、可解釋的。如果醫(yī)生和法官無法解釋為什么 AI 系統(tǒng)給出這樣的決定，就沒人敢采用人工智能系統(tǒng)的建議。

任務(wù)驅(qū)動的視覺系統(tǒng)卷積循環(huán)模型可以同時執(zhí)行機器視覺任務(wù)并解釋猴子視覺系統(tǒng)的動態(tài)

正如我們相信物理世界中一切現(xiàn)象的背后，都被普世的定律控制：空氣動力學(xué)控制飛行；量子力學(xué)控制納米世界的演化等等。

我們認為在智能領(lǐng)域，同樣存在著普世的定律，可以連接和統(tǒng)一神經(jīng)科學(xué)，心理學(xué)，認知科學(xué)以及人工智能等相關(guān)學(xué)科，同時和分析計算領(lǐng)域（如物理，數(shù)學(xué)和統(tǒng)計學(xué)）互惠互利。 

例如本文作者同時使用了動力系統(tǒng)理論 [25-28]，統(tǒng)計力學(xué)[29-33]，黎曼幾何[34]，隨機矩陣理論[13,35] 和自由概率理論 [36] 等技術(shù)，獲得對生物和人工網(wǎng)絡(luò)運作的概念性見解。 

創(chuàng)造智能機器可能存在多種解決方案，其中一些組件在生物解決方案和人工智能解決方案之間共享，而其他組件則可能不同。通過尋求普世的智能定律，我們可以更有效地理解和遍歷整個解決方案空間。

發(fā)現(xiàn)適用于生物和人工系統(tǒng)的新興智能的潛在法則，以及建立受神經(jīng)科學(xué)和心理學(xué)啟發(fā)的新型 AI，需要大家共同努力。

我們需要建立新的研究團體，遍布不同的學(xué)科，還需要培養(yǎng)新一代思想領(lǐng)袖，能夠在計算機科學(xué)家，神經(jīng)生物學(xué)家，心理學(xué)家和數(shù)學(xué)理論家等不同身份之間，隨意轉(zhuǎn)換。

這可能是本世紀及以后最激動人心的智力活動之一！