這種經(jīng)典的機器視覺(jué)架構具有如下幾個(gè)方面的缺點(diǎn)：

 

第一，高像素傳感器拍攝帶來(lái)大量信息使其難以實(shí)現極高速的圖像或視頻數字化存儲和分析，尤其在使用移動(dòng)設備和電池供電的設備時(shí)更是帶來(lái)了能耗和性能的平衡問(wèn)題；

 

第二，所捕獲的圖像通常包含許多對機器學(xué)習任務(wù)無(wú)用的冗余信息，帶來(lái)了后端處理器某種程度上的性能負擔，和資源浪費，從而導致在功耗和內存需求方面效率低下。

 

第三，在可見(jiàn)光的波長(cháng)以外的電磁波段制造高像素數圖像傳感器（如手機相機中的傳感器）具有很大的挑戰性，且其成本十分昂貴，因而也限制了機器視覺(jué)系統在更長(cháng)波段（如太赫茲）上的應用。

 

最近，加州大學(xué)洛杉磯分校（UCLA）的研究人員開(kāi)發(fā)了一種新的單像素機器視覺(jué)系統，通過(guò)引入光學(xué)神經(jīng)網(wǎng)絡(luò )（名詞解釋?）的方式規避了傳統機器視覺(jué)系統的諸多缺點(diǎn)。

 

圖1 來(lái)自加州大學(xué)洛杉磯分校的研究人員發(fā)明了一個(gè)新型單像素機器視覺(jué)系統，該系統可以將物體的空域信息編碼為功率譜，從而實(shí)現對圖像進(jìn)行分類(lèi)和重建。

 

該成果以Spectrally encoded single-pixel machine vision using diffractive networks為題發(fā)表在Science Advances。

 

研究人員借助深度學(xué)習技術(shù)，設計了一個(gè)由多個(gè)衍射層組成的衍射光學(xué)神經(jīng)網(wǎng)絡(luò )（Diffractive Optical Neural Networks）（拓展閱讀?），這些衍射層由計算機自動(dòng)優(yōu)化設計，可將經(jīng)過(guò)的輸入光場(chǎng)調制成一定的目標分布，從而能夠執行計算和統計推斷任務(wù)。

 

與常規的基于鏡頭模組的相機不同，該衍射光學(xué)神經(jīng)網(wǎng)絡(luò )以被寬帶光照明的物體作為其輸入，將物體的空域特征信息提取并編碼到衍射光的光譜上，而后光譜信號由具有頻譜探測能力的單像素超快傳感器所收集。通過(guò)將物體對應的不同的類(lèi)別分配給不同波長(cháng)的光頻譜分量，該系統僅使用單像素傳感器探測到的輸出光譜即可自動(dòng)對輸入對象完成分類(lèi)，從而無(wú)需圖像傳感器陣列和后端數字處理。這種框架實(shí)現了全光學(xué)推理和機器視覺(jué)，在幀速率、內存需求和功耗效率方面具有明顯優(yōu)勢，這些特點(diǎn)對于移動(dòng)計算應用而言尤為重要。

 

圖2. 該系統使用寬帶光對物體進(jìn)行照明。系統分類(lèi)結果取決于單像素傳感器測得的輸出光功率譜上10個(gè)波長(cháng)位置上最強的信號，其波長(cháng)對應的類(lèi)別即是分類(lèi)預測結果。功率譜信號還可以輸入到數字神經(jīng)網(wǎng)絡(luò )中被用于重建物體本身的圖像。

 

為驗證這一概念，研究人員通過(guò)使用單像素傳感器和3D打印的衍射層對使用手寫(xiě)數字圖像數據集（MNIST）的所構建的物體進(jìn)行分類(lèi)，在實(shí)驗中證明了該框架在太赫茲波段下的性能。研究者基于提前選定的10個(gè)波長(cháng)對實(shí)驗系統進(jìn)行了設計，這10個(gè)波長(cháng)被逐一分配給輸入物的不同類(lèi)別（對應手寫(xiě)數字的0到9），對物的分類(lèi)結果取決于傳感器輸出功率譜上10個(gè)波長(cháng)位置上信號最強者的波長(cháng)對應的類(lèi)別。

 

實(shí)驗系統中的單像素探測方案基于太赫茲時(shí)域光譜術(shù)實(shí)現，照明光為極短的太赫茲脈沖，網(wǎng)絡(luò )的推理以光速在瞬時(shí)間完成。

 

最終，該系統在手寫(xiě)數字分類(lèi)任務(wù)中實(shí)現了超過(guò)96%的分類(lèi)精度，實(shí)驗結果也與數值模擬非常吻合，證明了該單像素機器視覺(jué)框架在構建低延遲、高效的機器學(xué)習系統方面的可行性。除物體分類(lèi)外，研究人員還將此衍射神經(jīng)網(wǎng)絡(luò )的輸出與一個(gè)簡(jiǎn)單的全連接數字神經(jīng)網(wǎng)絡(luò )相連接，僅通過(guò)功率譜上10個(gè)波長(cháng)處的信號強度來(lái)快速重建此輸入物的圖像，從而實(shí)現了圖像的重建或“解壓縮”。

 

總而言之，這種單像素對象分類(lèi)和圖像重建框架可以為新的機器視覺(jué)系統的開(kāi)發(fā)鋪平道路。該系統具有低像素數、低延遲、低功耗和低成本的特點(diǎn)，以高效、節省資源的獨特優(yōu)勢通過(guò)將物體信息進(jìn)行頻譜編碼來(lái)實(shí)現特定的推理任務(wù)，有望廣泛應用于移動(dòng)計算、邊緣計算等領(lǐng)域。

 

此外，該新框架還可以擴展到各種光譜域測量系統，例如光學(xué)相干斷層掃描、紅外波段成像等，有助于構建基于衍射神經(jīng)網(wǎng)絡(luò )的光譜和空間信息編碼集成的新型3D傳感和成像方式。