【導讀】相比于單目視覺(jué)，雙目視覺(jué)（Stereo Vision）的關(guān)鍵區別在于可以利用雙攝像頭從不同角度對同一目標成像，從而獲取視差信息，推算目標距離。未來(lái)十年，為了完成從感知+預警到?jīng)Q策+執行的進(jìn)化之路，高級輔助駕駛系統（ADAS）將接入更多的傳感器，實(shí)現更為復雜的計算，同時(shí)具備更高的安全性。
圖1：S32V234結構圖
S32V234采用了4顆ARM Cortex A53作為核心CPU，以獲得更高的性能功耗比。另外，S32V234包含了一顆ARM Cortex M4來(lái)作為片上MCU，主要用于關(guān)鍵IO（如CAN-FD）的實(shí)時(shí)控制，并支持AutoSAR操作系統。
芯片集成了兩路MIPI-CSI2和兩路16bit并行相機接口，以及Gbit以太網(wǎng)控制器，為圖像傳感器的輸入提供了多種選擇。同時(shí)芯片內部包含了可編程的圖像信號處理（ISP）硬件模塊。利用嵌入式ISP，外部配搭的圖像傳感器可以輸出raw data，從而降低物料成本，節省空間尺寸。另外，芯片還包含了兩個(gè)名為APEX2CL的視覺(jué)加速引擎。每個(gè)APEX2CL擁有64個(gè)本地計算單元（CU），并配有本地內存，通過(guò)SIMD/MIMD（單指令多數據/多指令多數據）的處理方式對圖像識別過(guò)程進(jìn)行加速。 另外值得指出的是，考慮到ADAS系統對安全性和可靠性的嚴苛需求，S32V234在設計時(shí)加入了諸如ECC（錯誤檢查與糾正），FCCU（故障收集與控制單元），M/L BIST（內存/邏輯內置自測）等多種安全機制，能夠滿(mǎn)足ISO26262 ASIL B~C的需求。
雙目視覺(jué)簡(jiǎn)介
相比于單目視覺(jué)，雙目視覺(jué)（Stereo Vision）的關(guān)鍵區別在于可以利用雙攝像頭從不同角度對同一目標成像，從而獲取視差信息，推算目標距離。具體到視覺(jué)ADAS應用來(lái)說(shuō)，如果采用單目攝像頭，為了識別行人和車(chē)輛等目標，通常需要大規模的數據采集和訓練來(lái)完成機器學(xué)習算法，并且難以識別不規則物體；而利用毫米波雷達和激光雷達進(jìn)行測距的精度雖然較高，但是成本和難度亦較高。所以，雙目視覺(jué)的最大優(yōu)勢在于維持開(kāi)發(fā)成本較低的前提下，實(shí)現一定精度的目標識別和測距，完成FCW（前方碰撞預警）等ADAS功能。
雙目視覺(jué)測距的基本原理并不復雜，如圖2所示，P為目標點(diǎn)，它在左右兩個(gè)相機（鏡頭中心分別為A和B）上的成像點(diǎn)分別為E和F，則P點(diǎn)在兩個(gè)相機中的視差為d=EC+DF。根據三角形ACE與POA以及三角形BDF與POB的相似性，推導可得d=(fq)/z，其中f為相機焦距，q為兩相機光軸的距離，z為目標到相機平面的距離。則距離z=(fq)/d，而f和q可認為是固定參數，所以求出視差信號d即可求得距離z。
圖2：雙目視覺(jué)測距原理
根據雙目視覺(jué)的測距原理，通常將其實(shí)現過(guò)程分為五個(gè)步驟：相機標定，圖像獲取，圖像預處理，特征提取與立體匹配，三維重構。其中，相機標定是為了得到相機的內外參數和畸變系數等，可以離線(xiàn)進(jìn)行；而左右相機圖像獲取的同步性，圖像預處理的質(zhì)量和一致性，以及立體匹配（獲取視差信息）和三維重構（獲取距離信息）算法的實(shí)時(shí)性要求帶來(lái)的巨大運算量，對在嵌入式平臺上實(shí)現雙目視覺(jué)ADAS提出了挑戰。
基于S32V234的雙目視覺(jué)ADAS解決方案
S32V234片上具有兩路MIPI-CSI2相機接口，每一路最大可提供6Gbps的傳輸速率，可用于左右兩路相機的視頻輸入。由于兩路相機分別輸入兩個(gè)MIPI通道，需要考慮二者之間的同步問(wèn)題。在外部圖像傳感器的配合下，S23V324能夠支持不同的同步方式。如圖3所示，圖像傳感器通常具有場(chǎng)同步信號（VSYNC）和行同步信號（HSYNC）來(lái)進(jìn)行信號同步：當兩路相機工作在主從模式時(shí)，由Master向Slave發(fā)送同步信號；當兩路相機都工作在從模式時(shí)，可以由S32V234內部定時(shí)器產(chǎn)生同步信號，同時(shí)發(fā)送給兩路相機。
圖3：雙目相機同步方案
在S32V234獲取外部相機的圖像信號后，可以由內部的ISP進(jìn)行預處理。ISP模塊包含多個(gè)針對ISP功能進(jìn)行優(yōu)化的處理單元，利用片上SRAM對輸入信號和中間處理結果進(jìn)行緩存，并采用一個(gè)基于A(yíng)RM Cortex M0+的專(zhuān)用協(xié)處理器來(lái)管理ISP處理單元的時(shí)序，從而實(shí)現圖像信號的像素級處理。由于ISP位于芯片內部并且可以靈活編程，所以不僅能夠節省雙目相機外置ISP的成本，而且其運算資源和帶寬能夠支持對雙路高達1080p@30fps圖像信號的實(shí)時(shí)處理，保證了雙路圖像信號的質(zhì)量和一致性。
在雙目視覺(jué)ADAS應用中，最大的挑戰來(lái)自于對兩路圖像進(jìn)行立體匹配和三維重構所需要的巨大運算量。以FCW應用為例，既要求視差信號的提取具有足夠的精度以保證測距精度，又要求處理幀頻維持一定水平以保證預警的響應速度，因此要求嵌入式平臺具有足夠的處理能力。S32V234中集成的圖像加速引擎APEX2的結構如圖4所示，其并行計算結構和專(zhuān)用DMA等設計保證了對圖像信號具有極高的處理效率。具體來(lái)說(shuō)，ISP對圖像信號預處理完畢后送入DDR，APEX2引擎將圖像分割后經(jīng)由專(zhuān)用DMA將其送入每個(gè)CU對應的本地內存CMEM中，而立體匹配所需要的塊匹配（Block Matching）等算法可以在不同的CU中并行處理，處理完畢后的數據經(jīng)由DMA送回DDR，由CPU進(jìn)行進(jìn)一步處理（如生成預警信號），或送至專(zhuān)門(mén)的DCU（Display Control Unit）模塊輸出顯示。
圖4：APEX2架構及圖像處理示意圖
綜上所述，基于S32V234的雙目視覺(jué)應用數據流如圖5所示。在該應用中，數據流按照ISP-APEX2-DCU的方向流動(dòng)，A53作為主控CPU完成邏輯控制和必要的數據處理。通過(guò)這種流水線(xiàn)式的處理方式，可以使各部分計算資源充分利用，提高計算效率。
圖5：基于S32V234的雙目視覺(jué)數據流
利用S32V234開(kāi)發(fā)板搭建雙目視覺(jué)平臺，對雙路720p@30fps視頻信號進(jìn)行處理，其輸出結果如圖6所示。其中從左至右的三幅圖中目標與相機的距離分別為1m，2m，3m，顯示結果以冷暖色調的變化表征目標距離。結果表明，S32V234能夠對雙目視覺(jué)信號進(jìn)行實(shí)時(shí)處理，正確得到三維測距結果，同時(shí)輔以芯片的各項安全性設計，可以滿(mǎn)足雙目視覺(jué)ADAS系統的需求。
圖6：S32V234雙目視覺(jué)顯示結果
總結
恩智浦的視覺(jué)ADAS專(zhuān)用芯片S32V234集成了圖像信號處理器ISP，圖形加速引擎APEX2，3D GPU等專(zhuān)用計算單元，通過(guò)流水線(xiàn)式的處理架構使各個(gè)異構計算資源充分利用；不同計算模塊對OpenCV ，OpenCL和OpenVG等多種API的支持增強了算法的可移植性；而符合ISO26262標準的功能安全設計使得芯片能夠滿(mǎn)足ADAS系統對安全性的嚴苛需求。S32V234支持包括雙目視覺(jué)在內的多種視覺(jué)ADAS和傳感器數據融合解決方案，使得我們在通往無(wú)人駕駛的道路上邁出堅實(shí)的一步。
【推薦閱讀】
利用MEMS陀螺儀實(shí)現低噪聲反饋控制設計
具有快速開(kāi)關(guān)頻率的電源已大幅提升安全性
如何用欠壓保護(UVP)電路保護可充電電池？
自恢復保險絲PPTC工作原理及選型應用
電源管理技術(shù)的主要分類(lèi)和熱門(mén)應用領(lǐng)域
