【導讀】近來(lái)，與AI相關(guān)的周期性熱點(diǎn)幾乎都圍繞著(zhù)大語(yǔ)言模型（LLM）和生成式AI模型，這樣的趨勢反映出這些話(huà)題近年來(lái)日益增強的影響力和普及程度。與大語(yǔ)言模型和生成式AI模型相關(guān)的應用涵蓋了廣泛的領(lǐng)域，從開(kāi)放式聊天機器人到任務(wù)型助手。雖然LLM主要聚焦基于云和服務(wù)器端的應用，但人們對在嵌入式系統和邊緣設備中部署這些模型的興趣也在不斷增加。
近來(lái)，與AI相關(guān)的周期性熱點(diǎn)幾乎都圍繞著(zhù)大語(yǔ)言模型（LLM）和生成式AI模型，這樣的趨勢反映出這些話(huà)題近年來(lái)日益增強的影響力和普及程度。與大語(yǔ)言模型和生成式AI模型相關(guān)的應用涵蓋了廣泛的領(lǐng)域，從開(kāi)放式聊天機器人到任務(wù)型助手。雖然LLM主要聚焦基于云和服務(wù)器端的應用，但人們對在嵌入式系統和邊緣設備中部署這些模型的興趣也在不斷增加。
嵌入式系統（如家用電器、工業(yè)設備、汽車(chē)等設備中的微處理器）需要在成本和功耗受限的情況下，適應有限的計算能力和內存可用性。這使得在邊緣設備上部署高精度和高性能的語(yǔ)言模型極具挑戰性。
在邊緣設備上部署LLM
在嵌入式解決方案中，利用LLM的一個(gè)關(guān)鍵領(lǐng)域是操作員與機器之間的自然對話(huà)交互，即人機界面（HMI）。嵌入式系統可以簡(jiǎn)化各種輸入選項，如麥克風(fēng)、攝像頭或其他傳感器，但大多數系統不會(huì )像個(gè)人電腦、筆記本電腦和手機那樣，配備完整的鍵盤(pán)與LLM模型進(jìn)行交互。因此，嵌入式系統在使用音頻和視覺(jué)作為L(cháng)LM輸入時(shí)，必須具備實(shí)用性。這需要一個(gè)自動(dòng)語(yǔ)音識別（ASR）或圖像識別和分類(lèi)的預處理模塊。同樣，交互的輸出選項也有限。嵌入式解決方案可能沒(méi)有屏幕，或者不方便用戶(hù)閱讀屏幕信息。因此，在生成式AI模型之后，需要一個(gè)后處理步驟，使用文本到語(yǔ)音（TTS）算法將模型輸出轉換為音頻。恩智浦正在構建eIQ? GenAI Flow，通過(guò)添加必要的預處理和后處理模塊，使其成為一個(gè)模塊化流程，從而使邊緣生成式AI更加實(shí)用。
通過(guò)LLM革新應用
通過(guò)集成基于LLM的語(yǔ)音識別、自然語(yǔ)言理解和文本生成功能，嵌入式設備能夠提供更直觀(guān)和對話(huà)式的用戶(hù)體驗。這包括響應語(yǔ)音命令的智能家居設備、通過(guò)自然語(yǔ)言控制的工業(yè)機械，以及能夠進(jìn)行免提對話(huà)的汽車(chē)娛樂(lè )中控系統，以指導用戶(hù)或操作車(chē)內功能等。
LLM還在健康應用中的嵌入式預測分析和決策支持系統中發(fā)揮作用。設備可以嵌入使用特定領(lǐng)域數據訓練的語(yǔ)言模型，然后利用自然語(yǔ)言處理分析傳感器數據、識別模式并生成見(jiàn)解，同時(shí)在邊緣實(shí)時(shí)運行并保護患者隱私，無(wú)需將數據發(fā)送到云端。
應對生成式AI挑戰
在嵌入式環(huán)境中部署準確且功能強大的生成式AI模型面臨許多挑戰。需要優(yōu)化模型的大小和內存使用，使LLM能夠適應目標硬件的資源限制。具有數十億個(gè)參數的模型需要數千兆字節的存儲空間，而在邊緣系統中，這可能會(huì )帶來(lái)高成本且難以實(shí)現。量化和修剪等模型優(yōu)化技術(shù)不僅適用于卷積神經(jīng)網(wǎng)絡(luò )，也適用于轉換器模型——這是生成式AI克服模型大小問(wèn)題的重要方法。
像LLM這樣的生成式AI模型也有知識局限性。例如，它們的理解是有限的，通常會(huì )提供不一致的答案，也稱(chēng)為“幻覺(jué)”（hallucination），而且它們的知識受限于訓練數據的時(shí)效性。訓練模型或通過(guò)再訓練來(lái)微調模型可以提高準確性和上下文感知，但這可能在數據收集和所需的訓練計算方面花費巨大。幸運的是，有需求就有創(chuàng )新；通過(guò)檢索增強生成（RAG）可以解決這個(gè)問(wèn)題。RAG方法使用特定上下文數據創(chuàng )建知識數據庫，LLM可以在運行時(shí)參考這些數據來(lái)準確回答查詢(xún)。
eIQ GenAI Flow將生成式AI和LLM的優(yōu)勢以實(shí)用的方式應用于邊緣場(chǎng)景。通過(guò)將RAG整合到該流程中，我們?yōu)榍度胧皆O備提供特定領(lǐng)域的知識，而不會(huì )將用戶(hù)數據暴露給原始AI模型的訓練數據。這樣可以確保對LLM的任何更改都是私密的，并且僅在邊緣本地使用。
生成式AI正在改變嵌入式應用。閱讀恩智浦關(guān)于檢索增強生成(RAG)的白皮書(shū)，了解這種方法如何簡(jiǎn)化LLM的開(kāi)發(fā)過(guò)程。
（來(lái)源：恩智浦，作者：Ali Ors）
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
延長(cháng)蜂窩物聯(lián)網(wǎng)終端產(chǎn)品的電池壽命
采用創(chuàng )新型 C29 內核的 MCU 如何提升高壓系統的實(shí)時(shí)性能
汽車(chē) GPU 算力新高度支持智駕芯片實(shí)現架構創(chuàng )新
貿澤電子與Analog Devices和Bourns聯(lián)手發(fā)布全新電子書(shū)
【“源”察秋毫系列】纖維器件及其陣列電學(xué)測試方案詳解
