【儀表網(wǎng) 研發(fā)快訊】近日，北京大學(xué)深圳研究生院信息工程學(xué)院/廣東省存算一體芯片重點(diǎn)實(shí)驗(yàn)室的楊玉超教授團(tuán)隊(duì)在Nature Electronics雜志上發(fā)表了題為“Reconfigurable in-sensor processing based on a multi-phototransistor-one-memristor array”的研究論文，在可重構(gòu)感存算一體集成陣列與硬件系統(tǒng)領(lǐng)域取得重要進(jìn)展。針對(duì)現(xiàn)有憶阻器視覺感知神經(jīng)形態(tài)器件在動(dòng)力學(xué)特性和編碼功能上的局限以及集成硬件系統(tǒng)算法兼容性不足的問題，楊玉超團(tuán)隊(duì)首次提出將莫特氧化物異質(zhì)結(jié)結(jié)構(gòu)憶阻器與光晶體管集成，構(gòu)建了支持多種光圖像編碼功能的可重構(gòu)硬件系統(tǒng)。這一系統(tǒng)能夠?qū)崿F(xiàn)光圖像的時(shí)空、模擬與脈沖編碼，并兼容生物啟發(fā)式和機(jī)器學(xué)習(xí)架構(gòu)的多種算法，通過與非易失性憶阻器陣列集成可支持多種光學(xué)神經(jīng)網(wǎng)絡(luò)(如光學(xué)卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、脈沖神經(jīng)網(wǎng)絡(luò))，從而執(zhí)行多種計(jì)算視覺任務(wù)，包括識(shí)別靜態(tài)、運(yùn)動(dòng)和彩色圖像識(shí)別功能，為實(shí)現(xiàn)大規(guī)?？芍貥?gòu)視覺計(jì)算硬件系統(tǒng)奠定了關(guān)鍵基礎(chǔ)。
 

　　隨著機(jī)器視覺技術(shù)的快速發(fā)展，圖像傳感器在邊緣計(jì)算中扮演著越來越重要的角色。然而，基于CMOS技術(shù)的傳統(tǒng)視覺計(jì)算系統(tǒng)在實(shí)時(shí)圖像處理方面面臨諸多挑戰(zhàn)，主要是由于圖像傳感器、存儲(chǔ)器和處理器之間的物理分離導(dǎo)致圖像信息處理的延遲和冗余數(shù)據(jù)的生成。為了解決這些問題，集成了神經(jīng)形態(tài)計(jì)算和光圖像感知功能的視覺感存算一體系統(tǒng)成為重要的發(fā)展方向。但目前視覺感知神經(jīng)形態(tài)器件的動(dòng)力學(xué)特性較為單一，無法實(shí)現(xiàn)時(shí)空信息編碼和脈沖編碼功能，且工作方式單一。從硬件系統(tǒng)功能的角度來看，當(dāng)前的視覺感存算集成陣列主要支持人工神經(jīng)網(wǎng)絡(luò)或脈沖神經(jīng)網(wǎng)絡(luò)的單一算法，難以兼容不同類型的神經(jīng)網(wǎng)絡(luò)算法，因此有必要實(shí)現(xiàn)一種既適應(yīng)仿生又適應(yīng)機(jī)器學(xué)習(xí)的感存算一體硬件架構(gòu)，以構(gòu)建具有可重構(gòu)性和多類型算法兼容的視覺計(jì)算硬件系統(tǒng)。
 

圖1. 基于憶阻器可重構(gòu)感存算一體硬件支持實(shí)現(xiàn)多類型視覺編碼方式、算法與架構(gòu)
 

　　針對(duì)光憶阻器工作模式單一的局限性，楊玉超課題組首次利用硅基兼容性工藝和材料成功制備了多模式憶阻器。該憶阻器能夠在三種工作模式下運(yùn)行：線性電阻、閾值開關(guān)轉(zhuǎn)變和短時(shí)程記憶。此外，為了解決硬件集成陣列在光感知與編碼能力上的局限性以及線性計(jì)算的不足，研究團(tuán)隊(duì)將具有多種工作模式的莫特氧化物憶阻器與具備藍(lán)光增強(qiáng)和紅光抑制特性的光晶體管進(jìn)行了集成。這一創(chuàng)新實(shí)現(xiàn)了具有可重構(gòu)特性的視覺感存算一體化集成陣列與硬件系統(tǒng)，拓展了當(dāng)前視覺神經(jīng)形態(tài)硬件集成陣列的可重構(gòu)性，提升了硬件集成陣列的復(fù)雜信息處理能力以及硬件系統(tǒng)的算法兼容性。
 

圖2. 可重構(gòu)光晶體管-憶阻器集成陣列與1T1R非易失性憶阻器集成陣列
 

　　通過光晶體管與憶阻器集成陣列、1T1R非易失性憶阻器集成陣列、CMOS外圍讀寫電路及邏輯控制模塊實(shí)現(xiàn)板級(jí)集成，研究團(tuán)隊(duì)構(gòu)建了可重構(gòu)感存算一體硬件系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠通過外圍電路靈活編程，演示多種神經(jīng)網(wǎng)絡(luò)算法與圖像計(jì)算任務(wù)，包括光卷積神經(jīng)網(wǎng)絡(luò)(OCNN)進(jìn)行靜態(tài)圖像識(shí)別、光循環(huán)神經(jīng)網(wǎng)絡(luò)(ORNN)實(shí)現(xiàn)事件型時(shí)序脈沖圖像編碼處理，以及光脈沖神經(jīng)網(wǎng)絡(luò)(OSNN)對(duì)不同顏色和形狀目標(biāo)的識(shí)別。
 

　　圖3. 基于光晶體管-憶阻器集成陣列與1T1R非易失性憶阻器集成陣列的可重構(gòu)感存算一體硬件電路系統(tǒng)

 

　　實(shí)驗(yàn)成功演示了基于光晶體管與憶阻器集成陣列的卷積濾波功能，顯示其卷積核能夠有效提取光圖像的邊緣特征，并基于該系統(tǒng)構(gòu)建了光卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了圖像的訓(xùn)練與識(shí)別；此外，利用相同可重構(gòu)硬件系統(tǒng)構(gòu)建的儲(chǔ)備池網(wǎng)絡(luò)展示了該硬件系統(tǒng)具備直接感知光學(xué)圖像、時(shí)序信息整合及事件型圖像特征提取與模擬編碼的能力；基于光晶體管的藍(lán)光增強(qiáng)和紅光抑制特性，該系統(tǒng)成功演示了對(duì)紅藍(lán)光圖像的感知與脈沖編碼，實(shí)現(xiàn)了脈沖神經(jīng)網(wǎng)絡(luò)對(duì)彩色圖像的識(shí)別功能，從而證明了基于可重構(gòu)光晶體管-憶阻器集成陣列的感存算一體硬件系統(tǒng)在不同光信息處理、多種算法兼容性及可重構(gòu)特性方面的潛力。這一研究為未來智能視覺系統(tǒng)的開發(fā)提供了新的硬件基礎(chǔ)，具有廣泛的應(yīng)用前景，如智能監(jiān)控、自動(dòng)駕駛和機(jī)器人視覺等領(lǐng)域，提升了硬件的靈活性與適應(yīng)性，具有重要的理論與實(shí)際意義。
 

　　圖4. 基于可重構(gòu)感存算一體硬件系統(tǒng)的光卷積神經(jīng)網(wǎng)絡(luò)、光循環(huán)神經(jīng)網(wǎng)絡(luò)與光脈沖神經(jīng)網(wǎng)絡(luò)

 

　　北京大學(xué)博士生畢業(yè)生黨丙杰為第一作者，楊玉超為通訊作者。相關(guān)工作得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家杰出青年科學(xué)基金、北京市雙“1+1”重點(diǎn)項(xiàng)目、后摩爾重大研究計(jì)劃等項(xiàng)目的資助。