【導讀】作為智能汽車(chē)計算芯片的引領(lǐng)者，黑芝麻智能從成立之初就意識到了軟硬一體的重要性，在開(kāi)發(fā)芯片的同時(shí)也組建團隊對智駕算法進(jìn)行研究，保證產(chǎn)品能夠滿(mǎn)足當下和未來(lái)數年的算法發(fā)展需求。
最近一兩年，"端到端"是自動(dòng)駕駛領(lǐng)域最熱門(mén)的話(huà)題，不管是整車(chē)企業(yè)還是自動(dòng)駕駛公司，開(kāi)發(fā)布會(huì )幾乎言必提"端到端"，整個(gè)行業(yè)進(jìn)一步擁抱AI技術(shù)。
自動(dòng)駕駛系統是一個(gè)軟、硬件高度耦合的系統，當軟件算法跨入端到端的時(shí)代，如何在不同算力的芯片上都能夠發(fā)揮出足夠好的性能？
作為智能汽車(chē)計算芯片的引領(lǐng)者，黑芝麻智能從成立之初就意識到了軟硬一體的重要性，在開(kāi)發(fā)芯片的同時(shí)也組建團隊對智駕算法進(jìn)行研究，保證產(chǎn)品能夠滿(mǎn)足當下和未來(lái)數年的算法發(fā)展需求。
黑芝麻智能計劃推出支持華山及武當系列芯片的端到端算法參考方案。該方案采用One Model架構，并在決策規劃單元引入了VLM視覺(jué)語(yǔ)言大模型和PRR行車(chē)規則的概率化表征子模塊，進(jìn)一步提升了智駕系統的決策規劃能力。
該方案分為標準版和高階版兩個(gè)版本。前者在單顆武當C1200家族中算力平臺上即可部署，而后者可在即將推出的華山A2000家族中發(fā)揮全部實(shí)力。
一、采用One Model架構 最大化信息傳遞
現階段量產(chǎn)的端到端系統，相當一部分采用了分段式架構，即將端到端系統分成幾個(gè)不同的模塊級聯(lián)而成。雖然這些模塊也使用AI模型進(jìn)行工作，但各模塊之間仍存在人為定義的接口來(lái)傳輸數據，這就必然導致有一定的信息損失，加上不同模塊經(jīng)常采用獨立訓練的模式，其效果并非全局最優(yōu)。
黑芝麻智能的端到端智駕系統，一步到位采用了One Model的架構。一端可輸入攝像頭、激光雷達、4D毫米波雷達、導航地圖等信息，另一端直接輸出駕駛決策所需要的信息，即本車(chē)的預期軌跡。
端到端的總體架構
具體到模型內部，其可以分為BEV編碼器和決策（軌跡預測）兩個(gè)神經(jīng)網(wǎng)絡(luò )單元。
BEV編碼的工作過(guò)程中，車(chē)外攝像頭或 激光雷達、4D 毫米波雷達等各類(lèi)傳感器的數據進(jìn)入 ResNet 和 FPN 等主干網(wǎng)絡(luò )，提取并融合多層特征，生成多尺度特征金字塔。經(jīng)過(guò)幾何變換，特征圖對齊成俯視視角（BEV），實(shí)現統一的空間表示。
隨后，系統通過(guò)多尺度時(shí)序聚合將當前與歷史 BEV特征融合，減少噪聲干擾，增強動(dòng)態(tài)物體感知精度和系統魯棒性，最終生成特征圖（Feature Maps）傳遞至決策單元，用于生成車(chē)輛的預期行駛軌跡。
BEV和決策兩個(gè)神經(jīng)網(wǎng)絡(luò )單元之間傳遞的是特征圖(Feature Maps)。由于這些基礎特征圖沒(méi)有人為定義的接口和處理過(guò)程，所以信息可以更為原始和完整地傳遞，以便于網(wǎng)絡(luò )進(jìn)行優(yōu)化和決策。
與此同時(shí)，用Feature Maps將兩個(gè)單元進(jìn)行連接，還可以以back-propagation反向傳播的方式——即通過(guò)計算最終輸出的軌跡與實(shí)際目標之間的誤差，然后將該誤差反向傳播到?jīng)Q策和BEV單元——來(lái)進(jìn)行兩個(gè)神經(jīng)網(wǎng)絡(luò )單元的聯(lián)合訓練和參數調優(yōu)。
通過(guò)前面的分析可以看出，黑芝麻智能的One Model架構既解決了多模塊之間可能存在的信息傳遞損耗問(wèn)題，又實(shí)現了感知和決策單元的聯(lián)合訓練，實(shí)際效果會(huì )更佳優(yōu)秀。
二、決策單元引入多源輸入 提升軌跡預測準確性
在此基礎之上，黑芝麻智能團隊還更進(jìn)一步，通過(guò)引入VLM（視覺(jué)語(yǔ)言大模型）和規則的概率化表征（Probabilistic Representation of Rules，以下簡(jiǎn)稱(chēng) PRR）兩個(gè)模塊，來(lái)進(jìn)一步提升端到端系統決策的準確性和靈活性。
VLM 模型基于開(kāi)源 VLM 模型改進(jìn)而來(lái)，該模型可同時(shí)接收圖像和語(yǔ)言輸入信息（比如用戶(hù)的導航指令），然后通過(guò) Transformer 結構中的交叉注意力機制將視覺(jué)和語(yǔ)言?xún)煞N模態(tài)的信息相互關(guān)聯(lián)，從而讓模型更深層地理解當前的場(chǎng)景，并以符號特征的形式，將對于場(chǎng)景的理解輸入到?jīng)Q策單元中。
例如，當系統識別到行人在斑馬線(xiàn)上移動(dòng)的視覺(jué)信息，VLM 可以通過(guò)語(yǔ)言規則的匹配，理解這個(gè)場(chǎng)景是"行人在過(guò)馬路"，并且知道此時(shí)應該停車(chē)或者減速——將這種信息傳遞給軌跡預測模塊，顯然能夠幫助其做出更加正確的駕駛決策。
除了有 VLM 子模塊的幫助，決策單元還有行車(chē)規則的概率化表征模塊（PRR）提供信息。
規則的概率化表征模塊
該模塊用于將人類(lèi)的駕駛常識和交通規則轉化為自動(dòng)駕駛系統可理解的概率分布，再通過(guò)概率化軌跡采樣生成符合交通規則的候選軌跡，并為每個(gè)選項賦予相應的概率權重。例如，在交叉路口，系統可以生成"等待""緩慢通過(guò)"等符合規則的選項，并賦予相應的優(yōu)先級。
此外，該模塊還包含規則的語(yǔ)言描述部分，將交通規則和駕駛指令編碼為語(yǔ)義特征，使其能夠被決策模塊理解和應用。例如，紅燈停車(chē)或右轉讓行的規則會(huì )生成特定語(yǔ)義向量。
PRR輸出的兩種信息均會(huì )進(jìn)入到?jīng)Q策單元，與BEV單元輸出的特征圖、VLM輸出的場(chǎng)景理解特征互相融合，最終生成一條最佳的目標行駛軌跡。
最后補充一點(diǎn)，VLM和PRR模塊本質(zhì)上是端到端系統的增強型"外掛"，它們額外引入了類(lèi)人的對于場(chǎng)景的綜合理解能力，以及常識和交規的語(yǔ)義表征，從而在擴展軌跡決策能力的同時(shí)維持了端到端系統的整體工作原理， 其本質(zhì)上相當于一個(gè)功能增強了的One Model架構。
三、用擴散模型生成軌跡，應對不同環(huán)境
介紹完各個(gè)單元和模塊后，我們再來(lái)重點(diǎn)看一下這套端到端系統的核心——決策部分，到底是如何進(jìn)行軌跡預測的。
這里主要使用了擴散模型這種生成式模型。工作時(shí)，系統會(huì )首先生成多個(gè)可能的候選軌跡，然后通過(guò)逐層多次去噪篩選出最優(yōu)軌跡。例如，在行駛過(guò)程中，如果系統預測到前方車(chē)輛可能變道，擴散模型會(huì )生成多個(gè)候選路徑，并在去噪過(guò)程中逐步排除高風(fēng)險的路徑，確保最終選擇一條安全的行駛路徑。
基于擴散模型的軌跡預測模塊
這種軌跡生成方法具備多種優(yōu)勢。首先，擴散模型采用逐步迭代的去噪過(guò)程，每一步都對預測進(jìn)行細化，從而逐漸優(yōu)化輸出。相比于傳統一次性生成結果的模型，擴散模型能夠更精細地控制輸出，使軌跡預測更加平滑和自然。這一特性尤其適用于動(dòng)態(tài)環(huán)境中的軌跡預測，確保模型在復雜場(chǎng)景中生成的路徑符合實(shí)際行駛需求。
其次，擴散模型的核心設計是去噪。這使其在面對噪聲數據或帶有隨機擾動(dòng)的輸入時(shí)，依然能夠穩定地生成合理的軌跡，讓系統在應對復雜環(huán)境時(shí)具備更強的魯棒性。
最后，該模型在處理長(cháng)尾場(chǎng)景時(shí)表現出色，比如極端天氣、異形障礙物、突然橫穿的行人等，增加了智駕系統的泛化能力。
四、C1200可快速部署，A2000將大顯身手
黑芝麻智能的端到端參考方案，以其創(chuàng )新的One Model架構和多模塊協(xié)同設計，成功解決了傳統分段式端到端系統中信息損耗、訓練分離等核心問(wèn)題。在決策單元引入VLM和PRR模塊后，這套方案進(jìn)一步提升了決策能力，無(wú)論在場(chǎng)景理解、軌跡規劃，還是動(dòng)態(tài)環(huán)境適應方面，都達到了新的高度。這種設計不僅提升了端到端系統的整體性能，也為行業(yè)開(kāi)創(chuàng )了更智能、更高效的技術(shù)路徑。
當然，再先進(jìn)的算法也離不開(kāi)芯片的支持。黑芝麻智能在設計端到端參考方案的同時(shí)，充分考慮了軟硬件結合的實(shí)際需求，使其方案可以靈活適配不同性能的芯片平臺。
不含 VLM 和 PRR 模塊的標準版方案，可在黑芝麻智能現有的武當 C1200家族芯片上高效部署，滿(mǎn)足車(chē)企和Tier1等合作伙伴基于算法的參考方案快速適配硬件并開(kāi)發(fā)量產(chǎn)端到端系統的需求；而隨著(zhù)未來(lái)黑芝麻智能華山A2000家族芯片的推出，則可以用超高算力支持包括VLM和PRR模塊的高階版端到端系統的部署，為終端客戶(hù)提供更高性能的智駕體驗，并為L(cháng)3和L4級自動(dòng)駕駛做好準備。
未來(lái)，隨著(zhù)端到端架構的不斷完善和芯片技術(shù)的迭代提升，黑芝麻智能將繼續引領(lǐng)行業(yè)發(fā)展，為中國智能汽車(chē)產(chǎn)業(yè)的加速崛起貢獻更多智慧與力量。
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
艾邁斯歐司朗光子創(chuàng )新：利用多光譜傳感技術(shù)減少食物浪費
新一代電源質(zhì)量監控技術(shù)——幫助工業(yè)設備保持良好狀態(tài)
LED 調光引擎：基于 8 位 MCU 的開(kāi)關(guān)模式可調光 LED 驅動(dòng)器解決方案
雷諾旗下安培與意法半導體簽署碳化硅長(cháng)期供應協(xié)議，合作開(kāi)發(fā)電動(dòng)汽車(chē)電源控制系統
如何利用英飛凌MOTIX embedded power硬件機制標定小電機ECU
