機(jī)器之心原創(chuàng)
作者:微胖
科學(xué)家使用大腦成像技術(shù)繪制了一幅地圖,讓我們清楚看到大腦不同區(qū)域如何表征 958 個(gè)常見(jiàn)英語(yǔ)詞匯及其含義。揭開(kāi)這個(gè)謎題會(huì)有意想不到的回報(bào):通過(guò)觀察大腦活動(dòng),就能知道你在想什么。
英語(yǔ)詞典按照字母順序排列出所有常用英文單詞,人類(lèi)大腦又是如何儲(chǔ)存這些詞匯的呢?解開(kāi)這個(gè)謎題的回報(bào)將是巨大的:通過(guò)觀察大腦活動(dòng),就能知道你正在想什么。
神經(jīng)科學(xué)家們一直都在研究「讀心術(shù)」,試圖解碼大腦信息。
伯克利大學(xué) Brian Pasley 等人曾試圖解碼人類(lèi)自忖時(shí)的語(yǔ)詞。在治療癲癇病人的過(guò)程中,研究人員將電極植入大腦顳葉,記錄病人聽(tīng)人說(shuō)話(huà)時(shí)大腦的活動(dòng)情況。他們發(fā)現(xiàn), 顳葉只會(huì)被聲音的某些方面激活,比如特殊的頻率。以此為基礎(chǔ),伯克利的研究人員設(shè)計(jì)了一套算法,僅以神經(jīng)活動(dòng)為基礎(chǔ),解碼人類(lèi)自忖時(shí)的語(yǔ)詞。(當(dāng)然,前提是假設(shè)自忖和聽(tīng)別人說(shuō)話(huà)會(huì)激發(fā)一些相同的神經(jīng)信號(hào)。這樣,用以識(shí)別聽(tīng)到語(yǔ)詞的算法,也能用來(lái)解碼自忖時(shí)的語(yǔ)詞。)
在荷蘭,馬斯特里赫特大學(xué) Joao Correia 等人的「讀心術(shù)」研究已經(jīng)證實(shí),大腦某個(gè)區(qū)域會(huì)對(duì)特定詞匯做出反應(yīng)。
伯克利大學(xué)神經(jīng)科學(xué)家 Jack Gallant 自己的實(shí)驗(yàn)室也巳經(jīng)發(fā)現(xiàn),大腦會(huì)根據(jù)意義類(lèi)別,比如動(dòng)物或建筑物,對(duì)視覺(jué)信息進(jìn)行分類(lèi)。
但是,大腦究竟如何安置詞匯和概念——這是通往清楚解讀人類(lèi)思想的關(guān)鍵一步——仍然模糊不清。
這正是Jack Gallant 及其研究團(tuán)隊(duì)想要征服的下一個(gè)高峰。是否能夠在大腦皮層,這個(gè)灰色物質(zhì)褶皺的外層,繪制出更加完整的語(yǔ)義地圖,看看大腦各區(qū)域如何對(duì)具有類(lèi)似語(yǔ)義內(nèi)容的詞匯做出反應(yīng)?不同受試的語(yǔ)義地圖是否存在類(lèi)似地方?Jack Gallant 表示,希望能在大腦處于自然狀態(tài)時(shí),完成所有這些研究工作。
他們做到了。
在最新一期《Nature》封面文章《Semantic information in natural narrative speech is represented in complex maps that tile human cerebral cortex》中, Jack Gallant 和他的團(tuán)隊(duì)(Gallant 認(rèn)知、計(jì)算和系統(tǒng)神經(jīng)科學(xué)實(shí)驗(yàn)室)終于成功繪制出大腦語(yǔ)義地圖(985 個(gè)英語(yǔ)常用詞匯語(yǔ)義)。我們可以清楚看到大腦如何根據(jù)更深一層的詞匯含義,將詞匯安置到諸如數(shù)字、地點(diǎn)或其他基于共通主題的子類(lèi)別當(dāng)中。
方法和過(guò)程
為了繪制出語(yǔ)義地圖,研究人員請(qǐng)來(lái) 7 位受試傾聽(tīng) The Moth Radio Hour 里的故事。在受試聽(tīng)故事時(shí),科學(xué)家使用 fMRI(功能性磁共振成像)記錄下大腦血氧水平的變化——一種神經(jīng)活動(dòng)的信號(hào)。然后,將故事文本的詞匯意義與腦部活動(dòng)數(shù)據(jù)進(jìn)行對(duì)比,看看相關(guān)詞匯組如何在 5—8 萬(wàn)個(gè)豌豆大小位置(遍及整個(gè)大腦皮層)引發(fā)神經(jīng)反應(yīng)。
論文第一作者 Alexander Huth 之所以采用 The Moth Radio 里面的故事,是因?yàn)樗鼈兗榷绦∮治?。故事越迷人,科學(xué)家們就越有自信:接受腦部掃描測(cè)試的受試沒(méi)有走神。7 個(gè)人,每個(gè)人要聽(tīng) 2 個(gè)小時(shí)的故事,大致要聽(tīng) 25,000 個(gè)詞匯(words)——以及 3,000 多個(gè)不同詞匯(words)。
如同覆蓋在大腦皮層上的彩色被子,這幅地圖作品用彩虹般的色彩描繪出大腦如何將單個(gè)詞匯及其傳達(dá)的概念分組。
講述故事過(guò)程中,研究人員也會(huì)轉(zhuǎn)錄下故事,并記錄下讀出每個(gè)單詞的時(shí)間。
然后,研究人員利用 fMRI 數(shù)據(jù)和記錄下來(lái)的故事文本,建立計(jì)算模型,根據(jù)受試者聽(tīng)到詞匯的函數(shù)來(lái)預(yù)測(cè)大腦活動(dòng)。為了驗(yàn)證這些模型,研究人員利用它們來(lái)預(yù)測(cè)大腦對(duì)新故事的 fMRI 反應(yīng)。結(jié)果發(fā)現(xiàn),這些模型能夠相對(duì)良好地預(yù)測(cè)幾個(gè)寬闊大腦皮層區(qū)域的反應(yīng)。
接下來(lái),研究人員試圖發(fā)現(xiàn)皮層每個(gè)點(diǎn)所代表的語(yǔ)義信息類(lèi)型。為了將相當(dāng)高維度的語(yǔ)義模型視覺(jué)化,他們使用了一種叫做主要成分分析(principal components analysis , PCA)的降維技術(shù)。PCA 會(huì)找出數(shù)據(jù)中最重要的維度,這樣,研究人員就可以將 985 —維的模型降到只有三維,同時(shí)還能盡可能多的保存住信息。利用這三個(gè)維度,研究人員大致視覺(jué)化出皮層每個(gè)地方所代表的語(yǔ)義信息類(lèi)型,揭示出覆蓋在大腦表面上的復(fù)雜語(yǔ)義地圖。
最后,為了發(fā)現(xiàn)這些地圖中的哪些方面是所有受試所共享的,他們采用了一種新的叫做 PrAGMATiC(一個(gè)概率和生成模型)的計(jì)算方法。這種方法可以找出受試共享的功能區(qū)域,同時(shí)也能容許每個(gè)區(qū)域解剖學(xué)位置上存在個(gè)體差異。
研究發(fā)現(xiàn)
結(jié)果顯示,詞匯及相關(guān)術(shù)語(yǔ)(terms)都激活了大腦同一個(gè)區(qū)域。比如,大腦左邊,耳朵以上,這塊小面積區(qū)域代表著單詞「受害人(victim)」。 這塊區(qū)域也對(duì) 「殺害(killed)」, 「宣告有罪(convicted)」,「謀殺(murdered)」和「認(rèn)罪(confessed)」有反應(yīng)。大腦右側(cè),近頭部頂端,也是會(huì)對(duì)以下詞匯產(chǎn)生反應(yīng)的大腦位置之一:「妻子」、「丈夫」、「孩子」、「父母」。
代表每個(gè)詞匯的大腦位置不止一處,因?yàn)樵~匯往往不止一個(gè)含義。比如,大腦有個(gè)部分,會(huì)可靠地對(duì)「頂部(top)」做出反應(yīng),也會(huì)對(duì)其他描繪衣服的單詞做出反應(yīng)(top 也有上衣的意思)。但是,單詞「頂部(top)」也激活了許多大腦其他區(qū)域。其中一個(gè)區(qū)域還會(huì)對(duì)數(shù)字和度量單詞做出反應(yīng)(top 也有最大、最高之意),另一個(gè)區(qū)域與建筑(top 表示頂層)和地點(diǎn)相關(guān)。
由此可見(jiàn),并不存在一個(gè)單獨(dú)的大腦區(qū)域來(lái)儲(chǔ)存一個(gè)詞匯或者概念。大腦中,一個(gè)單獨(dú)的位置與許多相關(guān)詞匯存在聯(lián)系。而且,每一個(gè)單獨(dú)詞匯會(huì)點(diǎn)亮許多不同的大腦位置。它們一起,形成了一張網(wǎng)絡(luò),這張網(wǎng)絡(luò)代表著我們使用中每個(gè)詞匯語(yǔ)義:生命與愛(ài);死亡和稅收;云彩,佛羅里達(dá)和胸罩。研究人員一共識(shí)別出12個(gè)簇群(clusters),每個(gè)簇群都保存著與特定概念相應(yīng)的語(yǔ)詞。
另外,研究人員驚訝發(fā)現(xiàn):所有受試大腦地圖是類(lèi)似的,這意味著,他們的大腦以相同的方式組織詞匯意思。不過(guò),科學(xué)家僅掃描了五位男士與兩位女士。所有受試均以英語(yǔ)為母語(yǔ)。擁有不同背景和文化的人,很可能會(huì)有不同的大腦語(yǔ)義地圖。
三位不同受試的語(yǔ)義地圖,不同顏色分布存在相似性
研究還發(fā)現(xiàn),語(yǔ)言網(wǎng)絡(luò)占用的大腦區(qū)域非常廣闊,并不局限于少數(shù)幾個(gè)區(qū)域。而且,語(yǔ)義表征是高度雙邊的,具有功能對(duì)稱(chēng)性:在對(duì)語(yǔ)詞做出回應(yīng)的大小和多變方面,大腦右半球和左半球是一樣的。這一發(fā)現(xiàn)對(duì)當(dāng)前教條提出了挑戰(zhàn)。根據(jù)幾十年來(lái)對(duì)腦部受損患者的研究,當(dāng)前教條認(rèn)為,語(yǔ)言?xún)H與左半球有關(guān)。
對(duì)研究的評(píng)價(jià)
帝國(guó)理工的神經(jīng)學(xué)家 Richard Wise 說(shuō),長(zhǎng)期以來(lái),科學(xué)家一直懷疑語(yǔ)詞被儲(chǔ)存在大腦的意義云中。因此,這項(xiàng)研究結(jié)果并非真的讓人驚訝。
劍橋大學(xué)語(yǔ)音、語(yǔ)言和大腦研究中心(Centre for Speech, Language and the Brain )負(fù)責(zé)人、認(rèn)知神經(jīng)科學(xué)家 Lorraine Tyler 說(shuō),在廣度和方法上,這項(xiàng)研究堪稱(chēng)杰作。但是,目前這種形式的大腦地圖并沒(méi)有捕捉到詞語(yǔ)意思的微妙區(qū)別。以 「table 」這個(gè)詞為例。它可能屬于許多不同語(yǔ)義組。「它可以指用來(lái)吃東西的東西,用木頭做的東西,很重的東西,有四條腿的東西,不會(huì)動(dòng)的東西,等等。詞匯能夠得以靈活運(yùn)用,離不開(kāi)這類(lèi)細(xì)節(jié)的語(yǔ)義信息,但是,在分析過(guò)程中,這類(lèi)信息被丟掉了。」
普林斯頓的神經(jīng)科學(xué)家 Uri Hasson 對(duì)這項(xiàng)研究表示贊賞。他指出,許多研究觀察的是,說(shuō)出一個(gè)孤立的詞匯或句子時(shí),大腦活動(dòng)情況如何。和這些研究不同,Gallant 研究小組的成果揭示出大腦在真實(shí)世界情景中的運(yùn)作方式。Hasson 相信,最終,根據(jù)大腦活動(dòng),重現(xiàn)一個(gè)人正在想著的詞匯,是有可能的。另外,他也指出,這項(xiàng)研究的道德應(yīng)用問(wèn)題影響很大。一個(gè)更加良性的使用方法是,通過(guò)觀察大腦活動(dòng),評(píng)估某些政治信息是否被有效地傳遞給公眾。
波士頓大學(xué)的 Swathi Kiran表示,「我們正苦于那些不漂亮、不夠整齊以及受損的大腦,這篇文章告訴我們正常大腦的樣子?!乖撗芯坑兄谌藗兞私庵T如老年癡呆癥或失語(yǔ)癥患者的語(yǔ)言缺損現(xiàn)象。總之,正如 Hasson 所說(shuō),「研究的應(yīng)用方式很多,我們僅觸及其表面?!?/span>
值得一提的是,這項(xiàng)研究也有方法上的重要貢獻(xiàn)。研究人員開(kāi)發(fā)出數(shù)據(jù)驅(qū)動(dòng)方法,它們對(duì)恢復(fù)詳細(xì)的語(yǔ)義地圖足夠敏感。有了這種方法,研究人員就能高效繪制出許多不同語(yǔ)義信息類(lèi)型的地圖。這些方法也能被用于繪制其他與語(yǔ)言有關(guān)的信息地圖,比如,語(yǔ)素信息。
同時(shí),這篇論文采用的數(shù)據(jù)驅(qū)動(dòng)方法,也進(jìn)一步推動(dòng)了認(rèn)知神經(jīng)科學(xué)領(lǐng)域中,數(shù)據(jù)驅(qū)動(dòng)型研究方法(也是人類(lèi)神經(jīng)解剖學(xué)和功能連接研究中常見(jiàn)的方法)與傳統(tǒng)、基于假設(shè)的實(shí)驗(yàn)研究方法之爭(zhēng)。作為同行,Uri Hasson 對(duì)新方法欣然接受,「做科學(xué)研究,并不只有一種方法?!?/span>
下一步
人類(lèi)語(yǔ)言是一種復(fù)雜信號(hào),包含多種不同信息類(lèi)型:音素(phonemes)、詞素(morphemes)、句法(syntax)、語(yǔ)義和敘述,等等。在對(duì)敘事語(yǔ)言的自然理解過(guò)程中,大腦必須處理這些所有的不同方面。因此,語(yǔ)言的每一個(gè)不同方面都要在大腦某處表現(xiàn)出來(lái)。
目前,研究團(tuán)隊(duì)已經(jīng)開(kāi)始研究新的地圖:大腦如何保存語(yǔ)言其他方面的信息,從音素到句法(syntax)。不過(guò),到目前為止,大腦敘述結(jié)構(gòu)地圖還是難以捉摸?!该看蜗氲揭惶讛⑹鎏卣?,我們就被告知這些不是正確的敘述特征組?!?/span>
如果你也想查看一下這部詞典,請(qǐng)前往他們的交互式網(wǎng)站:http://gallantlab.org/huth2016/
參考資料:
1.https://www.theguardian.com/science/2016/apr/27/brain-atlas-showing-how-words-are-organised-neuroscience
2.http://www.nature.com/nature/journal/v532/n7600/full/nature17637.html
3. http://www.the-scientist.com/?articles.view/articleNo/45960/title/Locating-Language-within-the-Brain/
4.https://www.newscientist.com/article/2086206-map-of-the-brains-word-filing-system-could-help-us-read-minds/
5.http://www.gallantlab.org/
本文由機(jī)器之心原創(chuàng),轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)。
------------------------------------------------
加入機(jī)器之心(全職記者/實(shí)習(xí)生):hr@almosthuman.cn
投稿或?qū)で髨?bào)道:editor@almosthuman.cn
廣告&商務(wù)合作:bd@almosthuman.cn
聯(lián)系客服