【導讀】機器學(xué)習（ML）是解決涉及模式識別問(wèn)題的一個(gè)非常好的工具，ML算法能將雜亂的原始數據轉化為可用信號。其基本流程是基于數據產(chǎn)生模型，然后利用模型預測輸出，從而實(shí)現無(wú)需人工交互即可完成學(xué)習、推理和決策等目的。然而，對高性能計算資源的需求將許多ML應用程序限制在云中。也就是說(shuō)，只有云數據中心級別的性能才能滿(mǎn)足ML對算力的要求。令業(yè)界興奮的是，隨著(zhù)算法設計以及微處理器體系結構的不斷進(jìn)步，在最小的微控制器（MCU）上運行復雜的機器學(xué)習工作負載正在成為可能。
在嵌入式設備上運行機器學(xué)習模型通常被稱(chēng)為嵌入式機器學(xué)習（Embedded machine learning）。嵌入式設備中的機器學(xué)習有很多好處：
一、它消除了在云服務(wù)器上傳輸和存儲數據的需要，從而減少了傳輸數據時(shí)涉及的數據和隱私泄露。
二、它強化了對知識產(chǎn)權、個(gè)人數據和商業(yè)秘密的保護。
三、ML模型的執行可有效避免向云服務(wù)器傳輸數據的需要，節約了寶貴的帶寬和網(wǎng)絡(luò )資源。
四、使用基于ML模型的嵌入式設備是可持續的，它的碳足跡要低得多。因為設備中使用的微控制器都是低能耗的。
五、嵌入式系統比基于云中心的系統效率更高，邊緣設備上的ML模型可以實(shí)現實(shí)時(shí)響應。
TinyML：MCU廠(chǎng)商的新商機
深度學(xué)習模型最初的成功主要歸功于擁有大量?jì)却婧虶PU集群的大型服務(wù)器。雖然云端深度學(xué)習非常成功，但它并不適用于所有情況，因為許多應用需要在設備上進(jìn)行推理。當今的大多數AI應用程序都是基于機器學(xué)習技術(shù)，如果在資源受限的設備上能夠流暢地運行機器學(xué)習模型，必將為許多新興應用打開(kāi)了一扇技術(shù)之門(mén)，這也是近些年邊緣計算和嵌入式機器學(xué)習越來(lái)越火的一個(gè)重要原因。
嵌入式機器學(xué)習是機器學(xué)習的一個(gè)領(lǐng)域，這些被稱(chēng)為微型機器學(xué)習（Tiny Machine Learning，TinyML）的模型非常適用于內存和處理能力有限、互聯(lián)網(wǎng)連接不存在或受限的邊緣設備?，F在，TinyML已經(jīng)成為機器學(xué)習中一個(gè)快速發(fā)展的領(lǐng)域，通過(guò)硬件、算法和軟件的有機結合，使之能夠以mW及以下的功率完成傳感器數據的分析，實(shí)現了在小型硬件上嵌入AI的過(guò)程。
雖然TinyML是一個(gè)新概念，但將機器學(xué)習應用于智能設備并不是什么新鮮事。比如，大多數的智能手機都有某種神經(jīng)網(wǎng)絡(luò )，音樂(lè )識別、許多相機模式（如夜視和肖像模式）都是依靠嵌入式深度學(xué)習的例子。這些都是TinyML的用武之地，也將Edge AI向前推進(jìn)了一步。
Edge AI芯片組將AI引入到無(wú)數的終端內部，包括移動(dòng)設備、汽車(chē)、智能音箱和無(wú)線(xiàn)攝像頭等。然而，這些設備往往因難以支持高計算性能和高數據吞吐量，無(wú)法充分利用產(chǎn)生的所有數據。TinyML的橫空出世，使得在MCU上運行機器學(xué)習模型成為可能。這些MCU普遍價(jià)格低廉，外形小巧，內置幾百KB的低功耗內存（SRAM）和幾兆字節的存儲空間，功耗很低，且應用廣泛。TinyML芯片組的主要目標是解決成本和能效問(wèn)題，它們通過(guò)為小型推理工作負載設計的軟件，在低功耗、低處理能力和小內存的硬件上實(shí)現了數據分析性能，這一技術(shù)有可能徹底改變物聯(lián)網(wǎng)的未來(lái)。
如今，全球活躍的物聯(lián)網(wǎng)（IoT）設備超過(guò)2500億臺，預計每年增長(cháng)20%。這些設備每天都會(huì )收集大量數據，在云中處理這些數據存在相當大的挑戰?，F在，TinyML有望彌合邊緣硬件和設備智能之間的鴻溝。麥肯錫研究人員預測，到2025年，物聯(lián)網(wǎng)行業(yè)將產(chǎn)生4-11萬(wàn)億美元的潛在經(jīng)濟影響，其中制造業(yè)為最大的垂直產(chǎn)業(yè)，達到1.2-3.7萬(wàn)億美元。
市場(chǎng)咨詢(xún)公司ABI Research在其新的白皮書(shū)《TinyML：科技領(lǐng)域的下一個(gè)重大機遇》中預測，2021至2026年間，物聯(lián)網(wǎng)連接數量將增加近三倍，達到236億。每一次新的連接都代表著(zhù)利用AI和機器學(xué)習的機會(huì )，TinyML技術(shù)將是抓住企業(yè)這一機會(huì )的關(guān)鍵。因此，ABI預計，TinyML設備的出貨量將從2020年的1520萬(wàn)臺增加到2030年的25億臺。
名廠(chǎng)云集TinyML賽道
自TinyML誕生以來(lái)，創(chuàng )新市場(chǎng)一直熱點(diǎn)不斷，許多產(chǎn)品都非常引入關(guān)注。例如：基于NVIDIA Jetson Xavier NX的工業(yè)AI智能相機，這是由Adlink公司推出的業(yè)界首款工業(yè)智能相機，該相機基于英偉達（NVIDIA）的Jetson Xavier NX，性能高、尺寸小，效率大約是前代產(chǎn)品的十倍，是一款緊湊、可靠、功能強大的Edge AI應用產(chǎn)品，為制造業(yè)、物流、醫療保健、農業(yè)和許多其他商業(yè)領(lǐng)域的人工智能創(chuàng )新打開(kāi)了方便之門(mén)。
TinyML專(zhuān)注于優(yōu)化機器學(xué)習的工作負載，以便它們可以在低功耗的微控制器上運行。TinyML的激增將導致Edge AI在傳統關(guān)鍵市場(chǎng)之外的擴張，更多的終端用戶(hù)可以從基于聲波、溫度、壓力、振動(dòng)和其他數據源的智能連接傳感器和物聯(lián)網(wǎng)設備中受益。如今，TinyML正處在機器學(xué)習和嵌入式物聯(lián)網(wǎng)的交匯點(diǎn)上，有可能為許多行業(yè)帶來(lái)顛覆性的變革。TinyML的潛在應用幾乎是沒(méi)有邊界的，比如：可以預測何時(shí)需要服務(wù)的工業(yè)機器人，可以監測作物是否存在有害昆蟲(chóng)的傳感器，當庫存減少時(shí)可以要求重新進(jìn)貨的店內貨架，在保持隱私的同時(shí)可以跟蹤生命體征的醫療監護儀。
音頻分析、模式識別和語(yǔ)音人機界面是當今TinyML應用最多的領(lǐng)域。恩智浦（NXP）基于EdgeReady MCU的3D人臉識別解決方案利用i.MX RT117F跨界MCU，能夠幫助開(kāi)發(fā)人員快速地將3D人臉識別和先進(jìn)的活體檢測填加到其產(chǎn)品中，即使在戶(hù)外照明條件下設備也能正常工作。該方案具備的3D活體檢測功能還能識別和抵御使用照片或3D模型的欺詐，僅需使用高性能3D結構化光攝像頭模塊（SLM）和可選的基于低成本CMOS傳感器的RGB攝像頭，無(wú)需使用昂貴、耗電、基于Linux的MPU。
方案中采用的i.MX RT1170是一款跨界MCU，它采用了主頻達1GHz的Cortex-M7內核和主頻達400MHz的Arm Cortex-M4，擁有卓越的計算能力、多種媒體功能以及實(shí)時(shí)功能。人臉識別和活體檢測可在i.MX RT117F MCU上完全離線(xiàn)執行，不再借助云，不僅消除了延遲問(wèn)題，還能有效保護消費者的隱私。
圖1：i.MX RT117F 3D人臉識別硬件結構框圖
（圖源：NXP）
視覺(jué)、運動(dòng)和手勢識別同樣是TinyML的重要應用領(lǐng)域。意法半導體（ST）的AI解決方案主要基于STM32產(chǎn)品組合，借助預訓練神經(jīng)網(wǎng)絡(luò )，嵌入式開(kāi)發(fā)人員可以在任何基于Cortex M4、M33和M7的STM32上進(jìn)行移植、優(yōu)化和驗證。STM32CubeMX是一種圖形工具，通過(guò)分步過(guò)程可以非常輕松地配置STM32微控制器和微處理器，以及為Arm Cortex-M內核或面向Arm Cortex-A內核的特定Linux設備樹(shù)生成相應的初始化C代碼。
STM32Cube.AI是STM32CubeMX的AI擴展包，設計人員可以在其基礎上更高效地開(kāi)發(fā)自己的AI產(chǎn)品。FP-AI-VISION1屬于STM32Cube的一種功能包（FP），含有基于卷積神經(jīng)網(wǎng)絡(luò )（CNN）的計算機視覺(jué)應用實(shí)例。
目前，FP-AI-VISION1包括三個(gè)基于CNN的圖像分類(lèi)應用示例：
● 在彩色（RGB24位）幀圖像上運行的食品識別應用；
● 在彩色（RGB24位）幀圖像上運行的人員存在檢測應用；
● 在灰度（8位）幀圖像上運行的人員存在檢測應用。
現在，ST提供的TinyML計算機視覺(jué)解決方案可識別18種常見(jiàn)食物，也可以實(shí)施人員在場(chǎng)檢測，或者基于目標檢測模型統計場(chǎng)景中的人數等。
圖2：食品識別模型的執行流程
（圖源：ST）
隨著(zhù)IoT市場(chǎng)規模的擴大，邊緣的數據量增長(cháng)迅猛，由TinyML賦能的AIoT應運而生。根據Markets and Markets的分析數據，2019年的AIoT市場(chǎng)規模約為51億美元，預計到2024年將增長(cháng)至162億美元，復合年均增長(cháng)率（CAGR）高達26%。AIoT的主要作用是賦能聯(lián)網(wǎng)設備使其具備機器學(xué)習能力，從而執行復雜的智能運算。
2021年6月英飛凌（Infineon）推出的ModusToolbox ML，其目標就是讓公司的PSoC MCU具有深度學(xué)習的功能。ModusToolbox ML是一項基于ModusToolbox軟件的全新功能，可為開(kāi)發(fā)人員提供基于深度學(xué)習的ML模型所需的中間件、軟件庫和專(zhuān)用工具。ML可與ModusToolbox中已有的軟件框架無(wú)縫集成，十分便利地集成到安全的AIoT系統中。ModusToolbox ML允許開(kāi)發(fā)人員使用他們首選的深度學(xué)習框架（如TensorFlow），直接部署到PSoC MCU上。此外，ML還有助于工程師優(yōu)化嵌入式平臺的模型，降低平臺復雜度，并提供具有基于測試數據的性能驗證功能。
圖3：英飛凌PSoC6 MCU內部架構
（圖源：Infineon）
為了幫助開(kāi)發(fā)人員快速地將本地智能添加到他們的IoT設計中，Infineon選擇了與SensiML公司合作。SensiML是QuickLogic的子公司，向市場(chǎng)提供尖端的軟件，使超低功耗IoT終端能夠實(shí)現AI，公司的旗艦方案SensiML Analytics Toolkit提供了一個(gè)端到端的開(kāi)發(fā)平臺，涵蓋數據采集、標簽、算法和固件自動(dòng)生成和測試。SensiML的“Analytics Toolkit” Edge AI開(kāi)發(fā)軟件現在可以與Infineon ModusToolbox配合使用, 為開(kāi)發(fā)人員提供了一種快速簡(jiǎn)便的方法來(lái)記錄來(lái)自Infineon XENSIV傳感器的數據，創(chuàng )建復雜的基于A(yíng)I/ML的模型，并在PSoC6 MCU上運行定制的應用程序。
不斷壯大的TinyML生態(tài)系統
TinyML社區成立于2019年，是一個(gè)由研究人員和行業(yè)工程師組成的社區，致力于將ML能力引入到微控制器設備。TinyML由機器學(xué)習體系結構、技術(shù)、工具和方法組成，能夠在以電池驅動(dòng)設備為主的低功率目標設備上對各種傳感模式（視覺(jué)、音頻、運動(dòng)、化學(xué)和其他）執行分析。TinyML的創(chuàng )始人之一Evgeni Gousev認為：“我們正處于數字轉型革命中，TinyML以低成本執行設備上的機器智能和分析，并結合固有的隱私功能，提供了極大的節能優(yōu)勢?！?/p>
TinyML將在許多行業(yè)普及，它將影響包括：零售、醫療保健、交通、健康、農業(yè)、健身和制造業(yè)等幾乎每一個(gè)行業(yè)。與此同時(shí)，行業(yè)的參與者很快就認識到了TinyML的價(jià)值，并迅速采取行動(dòng)創(chuàng )建了一個(gè)支持性的生態(tài)系統。
Arm是TinyML的堅定支持者，同時(shí)也是TinyML技術(shù)的領(lǐng)導者。隨著(zhù)超過(guò)1800億基于A(yíng)rm的芯片的出貨，其IP、工具和1100多個(gè)軟件合作伙伴已經(jīng)構建了數十億微型智能IoT設備。
如今，Arm?Cortex?-M系列MCU已經(jīng)成為T(mén)inyML應用最廣泛的平臺，它們能夠快速高效地執行實(shí)時(shí)計算，價(jià)格便宜，可靠性高，響應速度快，且耗電很少。Cortex-M55處理器是Arm最具AI能力的Cortex-M處理器，它提供了增強、節能的DSP和ML性能。Ethos-U55 NPU是一種新的ML處理器，稱(chēng)為microNPU，專(zhuān)門(mén)設計用于在面積受限的嵌入式和物聯(lián)網(wǎng)設備中加速ML推理。Ethos-U55與支持AI的Cortex-M55處理器相結合，使ML性能比現有基于Cortex-M的系統提高了480倍。
事實(shí)上，在2021年初，Raspberry Pi（樹(shù)莓派）就發(fā)布了第一塊微控制器板，這是市場(chǎng)上價(jià)格最實(shí)惠的開(kāi)發(fā)板之一，售價(jià)僅為4美元。這款名為Raspberry Pi Pico，基于RP2040 MCU，內置功能強大的雙核Cortex-M0+處理器，能夠運行TensorFlow Lite Micro，很快我們就能看到該板的各種TinyML用例。
對于淹沒(méi)在海量數據中的決策者來(lái)說(shuō)，TinyML好比是一個(gè)救星，它將邊緣的數據充分利用起來(lái)，使人們能夠更快地獲取正確的信息。此外，TinyML還通過(guò)在設備上處理數據并只傳輸關(guān)鍵信息來(lái)改善了人們普遍擔憂(yōu)的隱私問(wèn)題。
接下來(lái)，我們將看到一個(gè)擁有數萬(wàn)億智能設備的新世界，這些智能設備有TinyML技術(shù)的支持，能夠感知、分析和自主行動(dòng)，并將為我們創(chuàng )造一個(gè)更健康、更可持續的環(huán)境。
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
