【導讀】時(shí)間來(lái)到2023年，ST在中國召開(kāi)了其首屆傳感器大會(huì )，支持本地端的AI計算的智能傳感器成為了本次大會(huì )的焦點(diǎn)。在開(kāi)幕演講上，意法半導體副總裁·中國區總經(jīng)理曹志平表示，我們的生活經(jīng)歷了從off-line到on-line的變革，以及從on-line到on-life發(fā)展，目前邁入Sustainable Onlife階段，具備AI能力的傳感器將會(huì )是構建永久在線(xiàn)的、虛擬交融的可持續生活的關(guān)鍵。
時(shí)間來(lái)到2023年，ST在中國召開(kāi)了其首屆傳感器大會(huì )，支持本地端的AI計算的智能傳感器成為了本次大會(huì )的焦點(diǎn)。在開(kāi)幕演講上，意法半導體副總裁·中國區總經(jīng)理曹志平表示，我們的生活經(jīng)歷了從off-line到on-line的變革，以及從on-line到on-life發(fā)展，目前邁入Sustainable Onlife階段，具備AI能力的傳感器將會(huì )是構建永久在線(xiàn)的、虛擬交融的可持續生活的關(guān)鍵。
2019年ST就推出了集成自家ML內核的傳感器，這在當時(shí)確實(shí)是業(yè)界首款。而這款產(chǎn)品并不是ST的淺嘗輒止，而是開(kāi)啟了其在AI傳感器上的完整生態(tài)布局。
時(shí)間來(lái)到2023年，ST在中國召開(kāi)了其首屆傳感器大會(huì )，支持本地端的AI計算的智能傳感器成為了本次大會(huì )的焦點(diǎn)。在開(kāi)幕演講上，意法半導體副總裁·中國區總經(jīng)理曹志平表示，我們的生活經(jīng)歷了從off-line到on-line的變革，以及從on-line到on-life發(fā)展，目前邁入Sustainable Onlife階段，具備AI能力的傳感器將會(huì )是構建永久在線(xiàn)的、虛擬交融的可持續生活的關(guān)鍵。
智能傳感器要具備多強的計算能力，才能實(shí)現端側AI應用？傳感器和MCU/SoC之間又該如何分配數據的處理任務(wù)？帶著(zhù)這些問(wèn)題我們有幸采訪(fǎng)到了ST的諸多高層。
智能傳感器布局：從MLC進(jìn)化到ISPU
“智能傳感器必須要能夠實(shí)現獨立的決策——通過(guò)它收集到的一些數據，能夠不依賴(lài)微控制器（不管是節點(diǎn)級別的次微控制器，還是主SOC）獨立做出決策?！币夥ò雽w亞太區模擬器件、MEMS和傳感器產(chǎn)品部 (AMS) MEMS及影像傳感器子產(chǎn)品部市場(chǎng)及應用副總裁、智能手機創(chuàng )新中心負責人Davide BRUNO表示，“所以就ST本身而言，現在正在努力讓傳感器（不管是運動(dòng)傳感器、加速記儀，還是影像傳感器方面）最終能夠根據自己收集和感知到的數據做出獨立的決策，并自動(dòng)采取干預行為，從而得到預期的效果?！?/p>
通常在一個(gè)端側系統中，會(huì )需要用到傳感器、MCU和其他一些連接的功能。傳感器負責采集真實(shí)物理世界的信號以及人體的相關(guān)信息，然后負責將數據傳遞到MCU中進(jìn)行計算。MCU通過(guò)對于數據的計算分析，然后產(chǎn)出控制信號給到執行機構。在這其中，復雜的數據運算可能需要上傳到云端進(jìn)行處理和記錄。
而ST在2019年推出的MLC（Machine Learning Core），則是在傳感器內增加一個(gè)可重新配置的單元，被稱(chēng)為rPU。該rPU可以通過(guò)寄存器重新配置，能夠運行一些簡(jiǎn)單的AI模型。其中FSM是用于設計邏輯連接的數學(xué)抽象。它是由有限數量的狀態(tài)和狀態(tài)之間的轉換組成的行為模型，類(lèi)似于流程圖，可以在流程圖中檢查滿(mǎn)足某些條件時(shí)邏輯的運行方式。FSM允許可以將一些算法從應用處理器轉移到傳感器中運行，從而持續降低功耗。
而在傳感器峰會(huì )上，我們聽(tīng)到了一個(gè)更新的產(chǎn)品類(lèi)型叫做——ISPU，即Intelligent Sensor Processing Unit。據了解，ISPU其實(shí)是早在2022年初就已經(jīng)發(fā)布，這是一款內置了DSP的IMU產(chǎn)品，ISPU是集成在傳感器的ASIC中的一個(gè)專(zhuān)門(mén)用于機器學(xué)習和處理器的DSP，可采用專(zhuān)用指令集進(jìn)行編程，能夠運行1位NN精度的AI算法。Davide表示，ISPU能夠在邊緣自動(dòng)分析處理數據，并根據特定應用的需求，采取干預行為，并確保所需的精確度，從而讓終端應用變得更為豐富。而這一理念可以從IMU延伸到ST所有類(lèi)型的MEMS和imaging傳感器當中。
意法半導體MEMS傳感器產(chǎn)品市場(chǎng)經(jīng)理Francesco BIANCHI表示，ISPU是意法半導體跨向人工智能領(lǐng)域的最大一步。目前，可以通過(guò)ISPU來(lái)幫助客戶(hù)實(shí)現在他們自己的神經(jīng)網(wǎng)絡(luò )端，以及包括在他們自己的人工智能算法上的解決方案的打造。
數據分區處理，帶來(lái)系統能效提升
通過(guò)在傳感器中集成NN單元，像ISPU這樣的產(chǎn)品，可以讓用戶(hù)的數據做到分區處理：在傳感器上運行特定級別的一些數據的處理，比如說(shuō)一些比較簡(jiǎn)單的或者是中等難度的數據處理；并將比較復雜的算法和比較密集強度的一些問(wèn)題，留給MCU進(jìn)行處理。
因為傳感器上的AI算力增強而實(shí)現的這種數據分區處理，能夠大大提升整個(gè)端側系統的能效。
Francesco表示，如果從傳統的系統優(yōu)化的角度來(lái)說(shuō)，大家都認為傳感器本身就是一個(gè)低功耗的產(chǎn)品，是整體技術(shù)架構里面低功耗的一個(gè)部分。而對于MCU微控制器來(lái)說(shuō)，因為它要進(jìn)行大量數據的處理，所以它處理數據數量的高低，直接決定了它的功耗的多少。如果我們能夠讓一些原始數據實(shí)現本地（傳感器側）的處理，就可以幫助為微控制器留出更多的空間來(lái)進(jìn)行復雜任務(wù)的處理。這是可以幫助進(jìn)一步地優(yōu)化系統及整體的功耗的?！案嘣紨祿奶幚?，都可以在ISPU實(shí)現本地完成。這樣就能夠提供更多的信息，提供更多的原數據，幫助我們和客戶(hù)通過(guò)數據的方式執行更多的任務(wù)。通過(guò)這樣的方法，可以幫助客戶(hù)實(shí)現其解決方案極大的系統化的升級和優(yōu)化?！?/p>
此外，數據分區處理還可以提高安全等級。因為通過(guò)傳感器所收集到的大部分數據都是原始數據，如果采用傳統意義的傳感器，這些數據可能會(huì )放到云端，或者是放到應用端去進(jìn)行處理。因此，這些數據如果保護不好，就會(huì )出現外泄并為第三方所獲取。但如果傳感器本身就能夠實(shí)現對數據的一些處理的話(huà)，它就幫助降低了數據外泄的可能性。
正如Davide所講到的，智能傳感器的概念并不僅僅局限在MEMS傳感器、IMU類(lèi)型的傳感器上，而是也貫穿到了Imagining的傳感器產(chǎn)品布局中。意法半導體影像傳感器總監Marc VASSEUR就強調到，ST的Imagine傳感器可以在計算數據之間實(shí)現有效的平衡。
影像傳感器的原始數據量非常龐大，要基于其進(jìn)行算法開(kāi)發(fā)需要花費巨大的時(shí)間——很多可供終端用戶(hù)使用的算法需要花2年以上的開(kāi)發(fā)時(shí)間?！八?，我們提供的算法之所以能夠為客戶(hù)所使用，是要確保當我們在數據處理的分區的過(guò)程當中，特別是在圖像處理的過(guò)程當中，我們非常接近這個(gè)層級數據的采集，確保我們的傳感器能實(shí)現有效的數據的收集，數據的處理和數據的存儲?！盡arc分享到。
超級傳感器的融合之力，賦能未來(lái)應用
傳感器除了智能化外，也存在著(zhù)融合的趨勢，通過(guò)多種傳感器融合，一方面可以實(shí)現系統中更好的BOM和面積優(yōu)化，另一方面還可以帶來(lái)安全冗余的特性。Francesco將這種融合的傳感器稱(chēng)為超級傳感器：“對于任何的應用來(lái)說(shuō)，如果想進(jìn)一步提升它的性能，都可以考慮使用這樣的多傳感器融合之后的超級傳感器。我們之所以稱(chēng)之為超級傳感器?！?/p>
除了ISPU外，ST在此次傳感器峰會(huì )上還介紹了一個(gè)獨具特色的模塊——vAFE。該類(lèi)器件是在MEMS傳感器上增加了一個(gè)模擬前端，從而實(shí)現了機電感知+模擬感知技術(shù)的融合。Francesco表示，通過(guò)vAFE，客戶(hù)就能夠有效地連接到MEMS傳感器，從而能夠更好地使用其內部的處理邏輯，能夠更好地嫁接和外部任何的模擬器件之間的聯(lián)系。
據了解，vAFE提供的信號和運動(dòng)傳感器的信號本質(zhì)上是同步的，所以可以在傳感器的邊緣完成獨特的上下文感知分析，從而實(shí)現低功耗和最小可能的延遲。這也同樣契合ST的智能傳感器的概念。集成了vAFE的產(chǎn)品，在體積上更具優(yōu)勢，非常適用于TWS耳機等可穿戴設備的應用。
傳感器融合的技術(shù)和強大的AI算力結合，能夠賦能諸多的新興終端產(chǎn)品形態(tài)。例如針對折疊屏手機，ST就將陀螺儀和加速度計的數據相結合，然后在傳感器的算法中進(jìn)行融合，進(jìn)而可以持續跟蹤精確的屏幕開(kāi)合角度、速度和位移等信息的判斷。這一專(zhuān)利技術(shù)基于LID系列的產(chǎn)品，因此被稱(chēng)為L(cháng)ID角度解決方案。
Francesco表示，ST在三年前就已經(jīng)開(kāi)始投入在這一專(zhuān)利技術(shù)的研發(fā)中，目前已經(jīng)進(jìn)一步推出了新的傳感器產(chǎn)品，可以支持多屏和折疊屏上的數據的傳感收集和處理。
同時(shí)Francesco也表示，多傳感器融合的超級傳感器可以適用于多種新興的應用，這不僅包括折疊屏手機，也包括新一代筆記本電腦等。而在XR設備上，超級傳感器可以為用戶(hù)呈現出一些混合現實(shí)的影像和效果；而在汽車(chē)應用上，這一技術(shù)也早就廣泛使用，通過(guò)多個(gè)高精度傳感器的數據進(jìn)行融合，從而形成超級傳感器來(lái)進(jìn)一步賦能ADAS的性能。
結語(yǔ)
此次在北京召開(kāi)的ST傳感器峰會(huì )，是ST首次在中國召開(kāi)的、以傳感器為主題的大型峰會(huì )活動(dòng)。而我們透過(guò)ST的分享，觀(guān)察到了傳感器技術(shù)的趨勢變化。傳感器已經(jīng)不再是單純的一個(gè)感知器件，而是在追求精準感知的基礎上，延展出更多的和AI相關(guān)的計算、融合的功能。在端側AI的浪潮中，傳感器在系統優(yōu)化層面上，可以提供更多的數據處理的價(jià)值，助力未來(lái)真正的“可持續的、虛實(shí)交融的生活”。
（來(lái)源：21ic電子網(wǎng) ，作者：劉巖軒）
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
在不影響系統性能的情況下延長(cháng)電池壽命的 3 種低 IQ 技術(shù)
