【導讀】來(lái)自于康納爾大學(xué)的這篇研究論文給出了 一個(gè)利用物理系統實(shí)現深層網(wǎng)絡(luò )學(xué)習和推理的框架。本文對于文章舉例的三個(gè)系統不屬于線(xiàn)性時(shí)不變系統進(jìn)行分析。除了其中SHG系統比較復雜之外，其它兩個(gè)系統（三極管、揚聲器）是如此的簡(jiǎn)便，吸引人去進(jìn)行搭建系統，測試一下相應的性能性能。對于參加智能車(chē)競賽的同學(xué)來(lái)講，也許將來(lái)不再需要借助于復雜高性能單片機來(lái)完成神經(jīng)網(wǎng)絡(luò )推理，只利用幾只三極管便可完成。
01 物理神經(jīng)網(wǎng)絡(luò )
看到最近在 Nature 雜志上發(fā)表的一篇文章 Deep Physical Neural Networks Trained with Backpropogation[1] 介紹了利用多層非線(xiàn)性物理系統構建深度學(xué)習網(wǎng)絡(luò )，并通過(guò)反向隨機梯度下降完成系統訓練方法的確令人驚訝、毀人三觀(guān)。
??
你敢想象利用幾只揚聲器，或者幾只場(chǎng)效應管就可以組成深度物理神經(jīng)網(wǎng)絡(luò )（Physical Neural Networks），完成圖像分類(lèi)？分類(lèi)效果比起傳統的數字神經(jīng)網(wǎng)絡(luò )也不遜色。對于MNIST手寫(xiě)體數字識別也可達到97%以上。（見(jiàn)下面基于四通道雙諧波信號發(fā)生器（SHG）方案）
圖1 分別基于機械系統、電子線(xiàn)路、光學(xué)系統構建的P物理神經(jīng)網(wǎng)絡(luò )
??
這類(lèi)建構在物理系統而非數字處理器之上的神經(jīng)網(wǎng)絡(luò )目標是在推理速度和能效方面超過(guò)傳統數字計算機，構建智能傳感器和高效網(wǎng)絡(luò )推理。
??
猜測大多數人和我一樣，第一看到這個(gè)文章都會(huì )有疑問(wèn)：這類(lèi)常見(jiàn)到的揚聲器、三極管、光學(xué)透鏡怎么就能夠像深度學(xué)習網(wǎng)絡(luò )那樣完成學(xué)習訓練和推理的呢？特別是這其中都是一些常見(jiàn)到的物理系統，這里面并沒(méi)有包含什么量子計算機、神經(jīng)計算機之類(lèi)結構。
??
文章包含的工作很多（原文PDF有60多頁(yè)），我還沒(méi)有看完，不過(guò)文章一開(kāi)始把為什么物理神經(jīng)網(wǎng)絡(luò )能夠實(shí)現人工神經(jīng)網(wǎng)絡(luò )算法的原理還是講的比較明白。傳統的深度學(xué)習可以分解若干網(wǎng)絡(luò )層的級聯(lián)計算，每一層的計算包括輸入數據（Input）、網(wǎng)絡(luò )參數(Parameters），它們經(jīng)過(guò)融合后經(jīng)過(guò)神經(jīng)元非線(xiàn)性傳遞函數形成網(wǎng)絡(luò )的輸出（Output）。
圖2 人工神經(jīng)網(wǎng)絡(luò )（ANN）與物理神經(jīng)網(wǎng)絡(luò )（PNN） 之間的聯(lián)系
??
物理神經(jīng)網(wǎng)絡(luò )也是分成若干層的級聯(lián)，比如若干個(gè)揚聲器，每個(gè)揚聲器是一層神經(jīng)網(wǎng)絡(luò )。輸入信號是揚聲器的輸入電壓；網(wǎng)絡(luò )參數則是一組可以控制的電壓信號，比如持續時(shí)間，幅值可以改變的信號，它們與輸入信號通過(guò)（疊加、串聯(lián)等）合并后送入揚聲器，揚聲器的輸出聲音再經(jīng)過(guò)麥克風(fēng)采集形成網(wǎng)絡(luò )的輸出。
圖1.3 由揚聲器組成的一層神經(jīng)網(wǎng)絡(luò )結構圖
??
在由晶體管組成的放大電路、光學(xué)倍頻器（SHG）組成的系中，對于輸入信號，網(wǎng)絡(luò )參數以及它們的融合方法根據各子系統特點(diǎn)有所不同。
??
比如在下圖中，網(wǎng)絡(luò )參數實(shí)際上就是一段長(cháng)度和幅值不同的直流信號，嵌入在輸入變化的信號中（A），經(jīng)過(guò)三極管電路之后形成輸出（B），輸入信號和網(wǎng)絡(luò )參數融合部分進(jìn)行展開(kāi)與歸一化（C）形成網(wǎng)絡(luò )輸出信號。
圖3 在三極管電路中輸入信號網(wǎng)絡(luò )參數信號（幅值可控一段直流電平）的串聯(lián)，以及對應的電路輸出信號
??
盡管現在對于網(wǎng)絡(luò )如何進(jìn)行訓練，如何進(jìn)行工作的細節還有待進(jìn)一步的了解，但文章所展示關(guān)于深度神經(jīng)網(wǎng)絡(luò )算法的本質(zhì)令人耳目一新。利用了系統輸入輸出之間的非線(xiàn)性把輸入信號與網(wǎng)絡(luò )信號進(jìn)行融合完成信息的處理，所以文章所舉例的三個(gè)系統（揚聲器、三極管電路、二次倍頻光學(xué)系統）都應該不是線(xiàn)性時(shí)不變系統。
??
下面我們拋開(kāi)物理神經(jīng)網(wǎng)絡(luò )算法，先看看論文中的這三個(gè)系統的特點(diǎn)。
02 非線(xiàn)性系統
在大學(xué)本科階段所學(xué)習的“信號與系統”、“自動(dòng)控制理論”中所討論的原理和方法基本上都是針對于線(xiàn)性時(shí)不變系統，因此判斷一個(gè)系統是否是線(xiàn)性時(shí)不變是應用這些理論第一步需要做的事情。
??
在前面Nature 論文中所提到的三個(gè)物理系統（機械、電子、光學(xué)）是否都滿(mǎn)足線(xiàn)性時(shí)不變呢？
2.1 三極管電路
文章中三極管電路最簡(jiǎn)單，同樣它的非線(xiàn)性也最為明顯。
??
電路包含有四個(gè)元器件：電阻、電感、電容以及場(chǎng)效應三極管。其中電阻、電感、電容都是線(xiàn)性元器件，只有場(chǎng)效應三極管是一個(gè)非線(xiàn)性器件。它的漏極飽和電流與柵極電壓之間呈現平方關(guān)系。所以該電子系統是一個(gè)非線(xiàn)性系統。
圖2.1.1 三極管電路
2.2 二次諧波產(chǎn)生系統（SHG）
二次諧波產(chǎn)生系統 是一個(gè)光學(xué)系統，也是文章舉例中最復雜的系統。
??
對于SHG（Second-Harmonic Generation）光學(xué)系統我不是很熟悉，通過(guò) 檢索相應文獻[2] 可以了解到它的基本原理。它利用了 一些特殊的分子物理狀態(tài)可以將輸入光學(xué)信號的頻率進(jìn)行倍頻，產(chǎn)生對應的二次諧波信號。
圖2.2.1 二次諧波產(chǎn)生系統
??
對于這類(lèi)你不熟悉的物理系統，那么該如何判斷它 是否屬于線(xiàn)性時(shí)不變系統呢？
??
在這里我們需要利用線(xiàn)性時(shí)不變系統的一個(gè)特性：線(xiàn)性時(shí)不變系統不會(huì )產(chǎn)生新的頻率信號。
??
雖然它可以改變輸入信號中不同頻率分量的幅度和相位，但不會(huì )有新的頻率分量產(chǎn)生。SHG光學(xué)系統是將輸入光譜中所有頻率分量都進(jìn)行倍頻，產(chǎn)生了新的倍頻分量，因此它不屬于線(xiàn)性時(shí)不變系統。
??
因此，倍頻是該系統能夠用于完成物理神經(jīng)系統的關(guān)鍵，一個(gè)線(xiàn)性時(shí)不變光學(xué)系統是無(wú)法構建物理神經(jīng)網(wǎng)絡(luò )的。
2.3 揚聲器
文章舉例的三個(gè)系統中，就數揚聲器機械振動(dòng)系統最令人感到撲朔迷離。系統分為揚聲器、音頻功放、麥克風(fēng)組成。其中揚聲器需要進(jìn)行改裝。
??
他們把動(dòng)圈式喇叭的振動(dòng)膜和防塵罩拆除，露出音頻線(xiàn)圈，在上面使用膠水粘上一個(gè)金屬螺釘，再固定一個(gè)3.2cm×3.2cm見(jiàn)方，1mm厚的金屬鉭制作的金屬片。讀到此，你會(huì )覺(jué)得他們這通騷操作屬于脫了褲子放屁，故弄玄虛。
圖2.3.1 利用揚聲器制作的機械振蕩系統
??
原以為他們這么改裝應該是想在喇叭機械系統中融入非線(xiàn)性環(huán)節，但在音圈（Sound Coil）上增加的金屬螺釘和鉭片好像僅僅是增加了喇叭線(xiàn)圈慣性質(zhì)量，對于其中高頻振蕩進(jìn)行壓制，起到一個(gè)低頻濾波的作用。因此該系統仍然屬于一個(gè)線(xiàn)性時(shí)不變系統。
??
下面是論文補充材料中給出的揚聲器輸入電壓信號，麥克風(fēng)錄音信號以及信號降采樣的數字信號?？梢钥吹禁溈孙L(fēng)錄制的音頻信號的確是對輸入信號的低通平滑濾波。
圖2.3.2 揚聲器的輸入信號、麥克風(fēng)錄音信號以及降采樣數字信號
??
下圖是文章中給出的輸入隨機信號中嵌入了幅度可控一段直流信號（相當于網(wǎng)絡(luò )參數），施加在揚聲器上之后，麥克風(fēng)采集到的音頻信號。最后一張圖上可以看到在不同時(shí)刻對應的輸出信號與輸入信號之間呈現線(xiàn)性關(guān)系。
圖2.3.3 輸入隨機噪聲加上可控直流信號片段噪聲的輸出信號
??
那么問(wèn)題來(lái)了：這個(gè)系統中的非線(xiàn)性環(huán)節到底在哪兒呢？
??
現在能夠想到的就是其中麥克風(fēng)信號進(jìn)行降采樣可能會(huì )改變系統的線(xiàn)性時(shí)不變特性，類(lèi)似于卷積神經(jīng)網(wǎng)中的 Pooling 層的作用。
※ 論文總結 ※
來(lái)自于康納爾大學(xué)的這篇研究論文給出了 一個(gè)利用物理系統實(shí)現深層網(wǎng)絡(luò )學(xué)習和推理的框架。本文對于文章舉例的三個(gè)系統不屬于線(xiàn)性時(shí)不變系統進(jìn)行分析。除了其中SHG系統比較復雜之外，其它兩個(gè)系統（三極管、揚聲器）是如此的簡(jiǎn)便，吸引人去進(jìn)行搭建系統，測試一下相應的性能性能。
??
對于參加智能車(chē)競賽的同學(xué)來(lái)講，也許將來(lái)不再需要借助于復雜高性能單片機來(lái)完成神經(jīng)網(wǎng)絡(luò )推理，只利用幾只三極管便可完成。
參考資料
[1]Deep Physical Neural Networks Trained with Backpropogation: https://www.nature.com/articles/s41586-021-04223-6.pdf
[2]檢索相應文獻: https://www.sciencedirect.com/topics/chemistry/second-harmonic-generation
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
Infineon無(wú)刷電機驅動(dòng)開(kāi)源方案
