封面圖：芯片對(duì)圖像進(jìn)行分析，然后輸出合適的信號(hào)
圖片來(lái)源：Joanna Symonowicz, TU Wien
撰稿 | Z
導(dǎo)讀
據(jù)統(tǒng)計(jì)，我們?nèi)粘Ｉ钪械?0%的信息都通過(guò)眼睛采集匯聚到大腦。近年來(lái)，機(jī)器視覺(jué)技術(shù)有了巨大的飛躍，現(xiàn)在正成為各種智能系統(tǒng)的組成部分，包括自動(dòng)駕駛汽車(chē)和機(jī)器人。
來(lái)自?shī)W地利的維也納工業(yè)大學(xué)光子學(xué)研究所Lukas Mennel研究團(tuán)隊(duì)近日在超快機(jī)器視覺(jué)成像取得重要進(jìn)展，他們提出利用二維材料構(gòu)建神經(jīng)網(wǎng)絡(luò)光電圖像傳感器陣列，無(wú)需將光學(xué)圖像轉(zhuǎn)化為數(shù)字信息格式便能夠同時(shí)實(shí)現(xiàn)光信號(hào)采集和處理，并且能夠?qū)崿F(xiàn)ns級(jí)別的實(shí)時(shí)圖像采集運(yùn)算，擁有百萬(wàn)量級(jí)的每秒信息處理量能力。
這項(xiàng)工作對(duì)于超快光譜分析和超快機(jī)器視覺(jué)成像的實(shí)現(xiàn)提供了一個(gè)新的思路。
圖1 ANN光電傳感器陣列(中間)
研究背景
現(xiàn)代圖像傳感器，例如數(shù)碼相機(jī)中的圖像傳感器，是上世紀(jì)70年代基于半導(dǎo)體技術(shù)開(kāi)發(fā)出來(lái)的，它們主要分為兩種類(lèi)型，即電荷耦合器件和有源像素傳感器。這些傳感器自從被制造出來(lái)就是固定的形態(tài)和性能，能夠感知所有照射到元件上的光學(xué)信息，因此那些不必要的光學(xué)信息就造成了傳感器資源的浪費(fèi)，然后這些海量的光學(xué)信息通常被轉(zhuǎn)換成數(shù)字電子格式并且傳遞給后續(xù)的計(jì)算機(jī)進(jìn)行圖像的處理和分析，傳感器和處理單元之間大量的數(shù)據(jù)傳送也導(dǎo)致延遲和高功耗。
隨著現(xiàn)代技術(shù)例如人工智能和5G的發(fā)展，自動(dòng)駕駛和機(jī)器人等需要快速成像和處理大量的成像數(shù)據(jù)，人們迫切需要一種短時(shí)延高效率的視覺(jué)成像技術(shù)。
同時(shí)，我們知道模擬信號(hào)到數(shù)字信號(hào)的轉(zhuǎn)換既耗時(shí)又耗能。很自然想到一個(gè)較好的解決辦法：將一些計(jì)算任務(wù)轉(zhuǎn)移到計(jì)算機(jī)系統(tǒng)外部的感知設(shè)備上，減少不必要的數(shù)據(jù)移動(dòng)。由于傳感器通常產(chǎn)生模擬信號(hào)輸出，因此如何將感知任務(wù)和計(jì)算任務(wù)兼容到傳感器上面成為了一個(gè)關(guān)鍵問(wèn)題。
在另一方面，如何增強(qiáng)計(jì)算機(jī)處理信息的能力也是一個(gè)問(wèn)題，通過(guò)模擬生物大腦處理信息的形態(tài)和原理，科學(xué)家提出了一種類(lèi)人腦的數(shù)據(jù)處理算法：人工神經(jīng)網(wǎng)絡(luò)(artifcial neural network,ANN)。
這些人工神經(jīng)網(wǎng)絡(luò)可以通過(guò)迭代從周?chē)h(huán)境中學(xué)習(xí)，例如：學(xué)習(xí)對(duì)已知的例子進(jìn)行分類(lèi)(監(jiān)督學(xué)習(xí))，或者從沒(méi)有額外信息的輸入數(shù)據(jù)中識(shí)別一個(gè)對(duì)象的特征結(jié)構(gòu)(非監(jiān)督學(xué)習(xí))。在學(xué)習(xí)過(guò)程中，算法不斷地進(jìn)行預(yù)測(cè)，增強(qiáng)或減弱網(wǎng)絡(luò)中的每個(gè)突觸(各層之間的權(quán)重)，直到達(dá)到最優(yōu)設(shè)置。簡(jiǎn)單來(lái)講：人工神經(jīng)網(wǎng)絡(luò)就是模擬大腦對(duì)信息的處理過(guò)程，通過(guò)對(duì)已知數(shù)據(jù)之間的關(guān)聯(lián)和特征進(jìn)行學(xué)習(xí)從而獲得對(duì)未知數(shù)據(jù)進(jìn)行處理的能力。
人工神經(jīng)網(wǎng)絡(luò)作為一種典型的機(jī)器學(xué)習(xí)算法在許多領(lǐng)域都取得了巨大的成功。執(zhí)行機(jī)器學(xué)習(xí)任務(wù)所需的計(jì)算資源非?？量獭Ｒ虼?，提供比傳統(tǒng)計(jì)算機(jī)架構(gòu)更好的性能和能源效率的專(zhuān)用硬件解決方案已經(jīng)成為一個(gè)主要的研究重點(diǎn)。
然而，盡管在電信號(hào)或光學(xué)信號(hào)的有效神經(jīng)形態(tài)處理方面已經(jīng)取得了很大進(jìn)展，但將光學(xué)圖像轉(zhuǎn)換成電信號(hào)域仍然是一個(gè)瓶頸，特別是在對(duì)時(shí)間要求苛刻的應(yīng)用中。模擬神經(jīng)生物學(xué)結(jié)構(gòu)的成像系統(tǒng)可以幫助我們克服這些缺點(diǎn)。
綜合以上背景，Lukas Mennel團(tuán)隊(duì)提出利用二維材料WSe2作為基本的光電轉(zhuǎn)換元件，構(gòu)建了神經(jīng)網(wǎng)絡(luò)圖像傳感器陣列，即：將原本計(jì)算部分的ANN算法集成到了硬件本身的特性上面，這樣傳感器陣列兼具圖像感知和處理的功能，同時(shí)沒(méi)有了數(shù)據(jù)遷移，減小了能耗和時(shí)延。
創(chuàng)新研究
圖2 光電傳感器單元以及樣品
由于硅基二極管等傳統(tǒng)光電元件具有固有的光電性能，其摻雜特性決定了其光電響應(yīng)能力，因此無(wú)法進(jìn)行有效的調(diào)節(jié)。而我們要實(shí)現(xiàn)一個(gè)可以用來(lái)做ANN學(xué)習(xí)的傳感器陣列，就需要快速的調(diào)節(jié)光電響應(yīng)能力，因此無(wú)法使用傳統(tǒng)的元器件。
作者團(tuán)隊(duì)提出使用圖2a所示的傳感元件。選擇了WSe2二維半導(dǎo)體材料作為光敏材料，這是由于二維半導(dǎo)體不僅表現(xiàn)出強(qiáng)烈的光與物質(zhì)的相互作用和優(yōu)異的光電性能，而且還通過(guò)靜電摻雜(使用多柵電極)，提供了器件中電勢(shì)分布的外部可調(diào)性的可能性，從而實(shí)現(xiàn)了器件的光敏性可調(diào)。
此外，2D材料技術(shù)現(xiàn)在已經(jīng)達(dá)到了足夠高的成熟水平，可以應(yīng)用于復(fù)雜的集成系統(tǒng)中。對(duì)于圖2a這樣的結(jié)構(gòu)，我們可以通過(guò)施加不同的電壓對(duì)(VG)~(-VG)，改變WSe2中的摻雜特性，從而可以改變光電流ISC，即改變傳感器的光電響應(yīng)因子R。
圖3 ANN傳感器陣列和相應(yīng)的ANN結(jié)構(gòu)
圖3a展示了論文所建立的傳感器陣列，圖中一共N個(gè)像素點(diǎn)(pixel)，每一個(gè)像素點(diǎn)由M個(gè)子像素點(diǎn)(subpixel)組成，每一個(gè)子像素點(diǎn)即是一個(gè)WSe2光電傳感器。PN表示第N個(gè)像素點(diǎn)上接受到的光照強(qiáng)度，RMN表示第N個(gè)像素點(diǎn)中第M個(gè)像素點(diǎn)在PN的光照強(qiáng)度下產(chǎn)生的子電流對(duì)第M個(gè)電流的貢獻(xiàn)，文中稱(chēng)R為光照敏感性因子。圖3a中每個(gè)相同顏色的子像素全部并聯(lián)在一起產(chǎn)生一個(gè)電流。根據(jù)圖中示意關(guān)系，產(chǎn)生的電流關(guān)系有以下形式：
因此，對(duì)于圖3a這樣一個(gè)N個(gè)像素點(diǎn)，每個(gè)像素點(diǎn)有M個(gè)子像素點(diǎn)的傳感器矩陣，輸入N個(gè)信號(hào)，得到M個(gè)電流。對(duì)比圖3c,d中的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，我們可以發(fā)現(xiàn)隱層中每一個(gè)節(jié)點(diǎn)的值取決于來(lái)自全部輸入節(jié)點(diǎn)的N個(gè)值，他們之間的關(guān)系也可以用一個(gè)R因子表示，這樣第m個(gè)節(jié)點(diǎn)的Im值也有以下的形式：
通過(guò)對(duì)公式(1),(2)對(duì)比我們發(fā)現(xiàn)，對(duì)于這樣一個(gè)ANN傳感器，電流的并聯(lián)與ANN算法中兩層之間的關(guān)系相對(duì)應(yīng)，其中R因子在傳感器中可以通過(guò)施加不同的電壓對(duì)來(lái)調(diào)節(jié)。
這樣，感知器功能來(lái)自于每個(gè)光電傳感器單元的光電特性，處理器功能來(lái)自于像素點(diǎn)之間的關(guān)聯(lián)特性。
Lukas Mennel團(tuán)隊(duì)提出的這樣一個(gè)傳感器陣列便能夠?qū)崿F(xiàn)光學(xué)信息感知和計(jì)算為一體的高效、快速、低時(shí)延的處理。
作者利用這樣一個(gè)結(jié)構(gòu)實(shí)現(xiàn)了兩個(gè)例子：圖像分類(lèi)器(監(jiān)督學(xué)習(xí))，圖像編碼器(無(wú)監(jiān)督學(xué)習(xí))。
圖4 3x3像素陣列的傳感器樣品
一共加工了9個(gè)像素點(diǎn)，每個(gè)像素點(diǎn)由三個(gè)子像素(WSe2光電傳感器)組成，一共27個(gè)子像素點(diǎn)，產(chǎn)生三個(gè)輸出電流。
圖5 實(shí)驗(yàn)設(shè)置圖
論文中使用數(shù)字-模電轉(zhuǎn)換器獨(dú)立施加所需的電壓對(duì)，利用數(shù)字源表探測(cè)產(chǎn)生的M個(gè)光電流。光源由激光發(fā)出，光學(xué)圖像由空間光調(diào)制器(SLM)加載，最終通過(guò)一個(gè)透鏡系統(tǒng)將光照射在傳感器陣列上。
圖6 利用ANN圖像傳感器陣列實(shí)現(xiàn)的圖像分類(lèi)
研究團(tuán)隊(duì)使用20組做了標(biāo)簽的圖片進(jìn)行監(jiān)督學(xué)習(xí)訓(xùn)練，訓(xùn)練好之后得到R值分布，并在該分布下對(duì)輸入圖像進(jìn)行分類(lèi)。
圖6a,b展示了利用ANN圖像傳感器陣列實(shí)現(xiàn)的圖像分類(lèi)隨著不同時(shí)期準(zhǔn)確度和誤差的變化，對(duì)于給定的不同方差的高斯分布噪聲，圖6b中的三個(gè)計(jì)算分別在15、20和35次達(dá)到了最小值。
圖6左邊展示了輸入的三個(gè)字母：‘n’,‘v’,‘z’，圖6c展示了添加不同的高斯噪聲后的字母形態(tài)。
圖6d展示了分類(lèi)后的結(jié)果，這里的三條線分別代表三個(gè)字母的特征電流(藍(lán)色線-字母n，紅色線-字母，綠色線-字母v)，在圖6d中我們可以看見(jiàn)，在30次迭代時(shí)，每個(gè)輸入的字母可以得的對(duì)應(yīng)字母的特征電流最大，即實(shí)現(xiàn)了圖像分類(lèi)。
圖7 利用ANN圖像傳感器陣列實(shí)現(xiàn)的圖像自編碼
研究團(tuán)隊(duì)利用ANN圖像傳感器陣列實(shí)現(xiàn)圖像自編碼功能，這里的自編碼完全來(lái)自于傳感器陣列的自身特性，因此不需要添加標(biāo)簽去訓(xùn)練，例如：對(duì)于一束帶有某個(gè)圖像的光，照射在ANN傳感器陣列上，各子像素產(chǎn)生的光電流進(jìn)行疊加，最后得到M個(gè)電流輸出，這M個(gè)電流輸出再通過(guò)激活矩陣得到一個(gè)編碼值，這個(gè)編碼值就是這個(gè)圖像的編碼，由于是自動(dòng)實(shí)現(xiàn)，不需要人為處理信息，因此叫做自動(dòng)編碼。這里的解碼重構(gòu)是通過(guò)外加電子電路實(shí)現(xiàn)的，不是由該ANN傳感器陣列實(shí)現(xiàn)的。
圖7a展示了加入重構(gòu)功能之后不同時(shí)期的誤差，這里的誤差表示重構(gòu)的圖像和原始圖像的差別，圖7b展示了訓(xùn)練前后的R值分布和重構(gòu)網(wǎng)絡(luò)權(quán)值分布，圖7c展示了使用訓(xùn)練好之后的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行編碼的示意圖，在這里研究團(tuán)隊(duì)使用的是logistic激活函數(shù)。對(duì)于圖7c中的圖像，進(jìn)行一次ANN傳感器陣列光電轉(zhuǎn)換，得到三個(gè)電流，然后通過(guò)激活函數(shù)的作用轉(zhuǎn)換為0-1矩陣，即圖7c中間柱狀圖的下半部分，這樣我們直接可以得到圖像的自編碼。再利用外部電子電路的重構(gòu)網(wǎng)絡(luò)，可以重構(gòu)出原始圖像。圖7d展示了ANN圖像傳感器陣列在圖像自編碼和編碼重構(gòu)過(guò)程中的穩(wěn)定性，對(duì)于不同的噪聲水平依然可以得到清晰的原始圖像。
圖8 ANN傳感器陣列的超快的圖像識(shí)別
由于圖像傳感和處理都是在模擬域進(jìn)行的，所以系統(tǒng)的運(yùn)行速度只受限于光電流產(chǎn)生的物理過(guò)程。
因此，圖像識(shí)別和編碼比傳統(tǒng)方法的速率高幾個(gè)數(shù)量級(jí)。為了演示該傳感器的高速性能，研究團(tuán)隊(duì)使用了一個(gè)40ns脈沖激光源(522 nm，~10Wcm-2)進(jìn)行測(cè)量。向傳感器表面投射了兩個(gè)字母(v和n)，并測(cè)量了兩個(gè)相應(yīng)通道的電流時(shí)域分布見(jiàn)圖8。
圖8表明在~ 50ns內(nèi)模式分類(lèi)是正確的。
因此，該系統(tǒng)能夠以每秒2000萬(wàn)個(gè)bins的吞吐量處理圖像。
研究團(tuán)隊(duì)認(rèn)為，此值僅受所用放大器的限制，并有可能大幅提高速率。因此，該論文這樣的網(wǎng)絡(luò)可能為超快機(jī)器視覺(jué)提供了新的機(jī)會(huì)。它也可以用于超快光譜學(xué)中對(duì)光譜事件的檢測(cè)和分類(lèi)。同時(shí)還注意到，視覺(jué)傳感器的操作是自供電的(光伏設(shè)備)，電能只在訓(xùn)練過(guò)程中消耗。
應(yīng)用與展望
研究團(tuán)隊(duì)在最后提及到，本文設(shè)計(jì)的ANN傳感器陣列雖然可以實(shí)現(xiàn)圖像感知和處理功能同時(shí)進(jìn)行，但是圖像處理之后的結(jié)果仍然需要儲(chǔ)存在外部設(shè)備中，中間的數(shù)據(jù)傳輸仍然存在一定的能耗和時(shí)延，因此作者設(shè)想加入一個(gè)浮柵型器件，用來(lái)記憶傳感器的狀態(tài)，這樣可以實(shí)現(xiàn)感知-計(jì)算-存儲(chǔ)為一體的高效率集成芯片，這樣可以有更快的圖像處理效率，研究團(tuán)隊(duì)在拓展資料中也給出了這樣的部分結(jié)果。
另一方面，由于論文中使用的ANN網(wǎng)絡(luò)為單層，像素點(diǎn)只有3×3，如果考慮擴(kuò)大隱層數(shù)量以及像素點(diǎn)數(shù)量，那么這樣的ANN傳感器陣列將會(huì)有更大的功能。
文章信息：
Lukas Mennel為論文第一作者，通訊作者為L(zhǎng)ukas Mennel和Thomas Mueller，維也納工業(yè)大學(xué)為獨(dú)立研究單位。
論文地址：
https://www.nature.com/articles/s41586-020-2038-x
走進(jìn)新刊
開(kāi) 放 投 稿：Light:Advanced Manufacturing
ISSN 2689-9620
期 刊 網(wǎng) 站：www.light-am.com
這是《光：先進(jìn)制造》發(fā)布的第44篇文章，轉(zhuǎn)發(fā)朋友圈是對(duì)我們最大的認(rèn)可
? 本文編輯：趙陽(yáng)
聯(lián)系客服
