機器視覺(jué)車(chē)輛環(huán)境感知系統中的主要任務(wù)是完成道路及目標的識別和跟蹤，為智能車(chē)行使提供必須的本車(chē)位置信息和周?chē)h(huán)境距離信息。

 

對于現實(shí)情況下的道路，一般可以將其分為兩大類(lèi)，即：結構化道路和非結構化道路。結構化道路上有明顯的道路標記，且這些標記具有較強的幾何特征，道路路面主要是由這些標記界分確定的，如高速公路上道路中間黃色的連續標志線(xiàn)或白色的間斷標志線(xiàn)以及兩旁白色的連續標志線(xiàn)；非結構化道路上沒(méi)有明顯的道路標記，在二維圖像中道路路面與非路面主要依靠紋理與色彩而區分的，如沒(méi)有標記的水泥路、野外土路或石板路等。

 

彎道圖像包含豐富的道路信息和環(huán)境信息，解釋了道路周?chē)鷪?chǎng)景。彎道檢測是從道路圖像中檢測出彎曲車(chē)道線(xiàn)的邊界，這也是對彎道理解的基礎。建立彎道模型；提取車(chē)道線(xiàn)像素點(diǎn)；擬合車(chē)道線(xiàn)模型屬于目前較常采用的認知方法，并在特定的結構化道路體現出較好的檢測效果。文獻［6］介紹了彎道檢測在車(chē)道偏離預警、彎道限速以及彎道防碰撞預警等領(lǐng)域的應用情況，并提出了彎道檢測應該建立三維車(chē)道線(xiàn)模型，提高適用性。

 

均采用的Hough變換求出車(chē)道線(xiàn)直線(xiàn)方程，從而確定對應直線(xiàn)段上的最低點(diǎn)和最高點(diǎn)，然后根據相應準則判斷曲線(xiàn)道路的彎曲方向，最后分段擬合車(chē)道線(xiàn)的直線(xiàn)段和曲線(xiàn)段實(shí)現車(chē)道線(xiàn)的二維重建。

 

彎道檢測不僅需要識別出道路邊界線(xiàn)，還需要判斷道路彎曲方向，確定轉彎的曲率半徑。常用的車(chē)道檢測方法可分為2大類(lèi)：基于道路特征和基于道路模型的方法。目前國外主要常用基于道路模型的方法，即將彎道檢測轉化為各種曲線(xiàn)模型中數學(xué)參數的求解問(wèn)題。省略彎道曲線(xiàn)模型建立和數學(xué)參數的復雜求解過(guò)程，本文采用立體視覺(jué)感知環(huán)境的三維信息，利用它的視差原理對所獲取室內道路周邊環(huán)境圖像中角點(diǎn)特征的位置恢復其三維信息來(lái)判斷車(chē)體的彎道轉向和偏航角度。建立了視覺(jué)信息直接控制車(chē)體驅動(dòng)偏離角與偏離距離視覺(jué)伺服控制系統，初步采用了BP控制策略，利用Simulink仿真環(huán)境實(shí)現了針對未知彎道曲率的智能車(chē)轉彎控制運動(dòng)。

　　

 

采用針孔成像模型將圖像中任何點(diǎn)的投影位置與實(shí)際點(diǎn)的物理位置建立連線(xiàn)關(guān)系，攝像機光心O與空間P點(diǎn)間的連線(xiàn)OP與圖像平面的交點(diǎn)即為圖像投影的位置（u，v）。用齊次坐標和矩陣表示上述透視投影關(guān)系為：

 

　

 

本文采用的雙目平行相機的模型如圖1所示，C1與C2攝像機的焦距相等，各內部參數也相等，而且兩個(gè)相機的光軸互相平行，x軸互相重合，y軸互相平行，因此，將第一個(gè)攝像機沿x軸平移一段距離b后與第二個(gè)攝像機完全重合。假設C1坐標系為O1 x1 y1 z1，C2坐標系為O2 x2 y2 z2，則在上述攝像機配置下，若任何空間點(diǎn)P的坐標在C1坐標系下為（x1），y1，z1，在C2坐標系下為（x1）-b，y1，z1。由中心攝影的比例關(guān)系可得：

 

　

 

其中（u1，v1）、（u2，v2）分別為P1與P2的圖像坐標。由P1與P2的圖像坐標（u2，v2）、（u2，v2）可求出空間點(diǎn)P的三維坐標（x1，y1，z1）。

 

　　

 

 

由于噪聲、光照變化、遮擋和透視畸變等因素的影響，空間同一點(diǎn)投影到兩個(gè)攝像機的圖像平面上形成的對應點(diǎn)的特性可能不同，對在一幅圖像中的一個(gè)特征點(diǎn)或者一小塊子圖像，在另一幅圖像中可能存在好幾個(gè)相似的候選匹配。因此需要另外的信息或者約束作為輔助判據，以便能得到惟一準確的匹配。最近鄰法是一種有效的為每個(gè)特征點(diǎn)尋找匹配點(diǎn)的方法。最近鄰點(diǎn)被定義為與特征點(diǎn)的不變描述子向量之間的歐氏距離最短的點(diǎn)。

 

假定參考圖像P的SIFT特征點(diǎn)集合為：FP ={FP （1），FP （2），-，FP （m）}，m為圖像P的特征點(diǎn)的個(gè)數；待匹配圖像Q的特征點(diǎn)的個(gè)數為N，SIFT特征點(diǎn)集合為FQ ={FQ （1），FQ （2），-，FQ （m）}。當在建立參考圖像中的特征點(diǎn)和待匹配圖像的特征篩選對應匹配關(guān)系時(shí)，應按照圖2所示的算法進(jìn)行對稱(chēng)性測試，只有當兩個(gè)匹配集中的對應點(diǎn)完全一致時(shí)，才視為有效匹配。

 

　　

 

SIFT特征向量生成后，利用特征點(diǎn)向量的歐式距離來(lái)作為兩幅圖像中特征點(diǎn)的相似性判定度量。最近鄰法是一種有效的為每個(gè)特征點(diǎn)尋找匹配點(diǎn)的方法。

 

最近鄰點(diǎn)被定義為與特征點(diǎn)的不變描述子向量之間的歐氏距離最短的點(diǎn)。對特征點(diǎn)集合FP中的每個(gè)點(diǎn)，逐一計算其與特征點(diǎn)集合FQ中每個(gè)點(diǎn)的距離，得到特征點(diǎn)之間的距離集合D。將距離集合D中的元素進(jìn)行排序，得到最近鄰距離dmin和次近鄰距離dn–nim。SIFT算法通過(guò)判斷最近鄰和次近鄰距離的比值：

 

　　

 

來(lái)區分正確匹配對和錯誤匹配對。

　　

對于正確的匹配對，其最近鄰距離dmin要遠遠小于次近鄰距離dn-nim，即DistanceRatio-1；而錯誤的匹配對，由于特征空間的維數很高，其最近鄰距離dmin與次近鄰距離dn-nim差距不大，即DistanceRatio≈1。所以可取一個(gè)距離比閾值Threh∈（0，1）來(lái)區分正確匹配對和錯誤匹配對。

 

 

進(jìn)行特征點(diǎn)立體匹配和跟蹤匹配如圖2所示，對當前時(shí)刻t獲得圖像對（ImgL1和ImgL2）進(jìn)行SIFT特征匹配之后獲得道路環(huán)境匹配特征點(diǎn)Ni個(gè)，再對相鄰時(shí)刻t+1獲得的Ni+1個(gè)特征點(diǎn)計算歐式距離，尋找t與t+1時(shí)刻獲取圖像中相同的特征點(diǎn)，得到一系列匹配點(diǎn)在車(chē)體運動(dòng)前后的三維坐標。

 

本文實(shí)驗環(huán)境是在室內，在假定室內環(huán)境為理想的水平面的基礎上，同一特征點(diǎn)三維坐標中y坐標保持基本不變，即車(chē)體運動(dòng)參數僅在x-z坐標平面內發(fā)生變化。

 

圖3中點(diǎn)P（x1，y1，z1）為所提取環(huán)境特征點(diǎn)，在t時(shí)刻立體匹配后得到其在攝像頭坐標系下的三維坐標，由于攝像頭固定安裝在小車(chē)上，因此通過(guò)坐標系的旋轉與平移變換可將點(diǎn)P的三維坐標轉換到小車(chē)坐標系ΣBt下表示。同理，t+1時(shí)刻所獲取的圖像中相同點(diǎn)P的（u，v）二維坐標發(fā)生變化，經(jīng)坐標轉換后可得到小車(chē)坐標系ΣBt+1下表示。

 

　

 

小車(chē)t時(shí)刻位于位置A時(shí)，特征點(diǎn)P在坐標系ΣBt為參考位置的三維坐標是［x1］，y1，z1T，當經(jīng)過(guò)t+1時(shí)刻后移動(dòng)到空間位置B時(shí)，同一特征點(diǎn)P在以B為參考位置的三維坐標為［x］t+1，yt+1，zt+1T，所以得到：

 

　

 

當這些位置滿(mǎn)足3個(gè)及以上相同的匹配特征點(diǎn)時(shí)，小車(chē)所在坐標系間的平移與旋轉向量就可以通過(guò)以上方程獲得。

　　

 

環(huán)境特征點(diǎn)投影到車(chē)體坐標系下表示后，即為所有的環(huán)境坐標均統一在世界坐標系下的表示。如圖4所示，其中小車(chē)前進(jìn)方向為zw軸，xw水平垂直于zw，方向向右，其交點(diǎn)為原點(diǎn)Ow。直線(xiàn)為lmid為道路中間線(xiàn)，lmid與zw的夾角為φ，即為車(chē)輛的偏航角。點(diǎn)Ow到左車(chē)道線(xiàn)lL的距離為DL，到右車(chē)道線(xiàn)lR的距離為DR，可行駛區域的道路寬度為w = DL+DR。

 

　

 

 

機器人的底層運動(dòng)控制是非常重要的一個(gè)環(huán)節，機器人運動(dòng)控制的好壞直接決定了能否有效執行決策意圖，準確無(wú)誤地沿著(zhù)預定軌跡行進(jìn)，完成導航任務(wù)。傳統的定位控制中，PI、PID是廣泛采用的控制方法，這些方法比較成熟，但卻具有一定的局限性。對被控系統的參數變化比較敏感，難以克服系統中非線(xiàn)性因素的影響。本文采用BP神經(jīng)網(wǎng)絡(luò )控制器在行使過(guò)程中經(jīng)學(xué)習對網(wǎng)絡(luò )進(jìn)行訓練，以適應當前的環(huán)境路況來(lái)調整車(chē)的左右輪速控制量。智能車(chē)左右輪速的大小，和車(chē)體偏離道路中間線(xiàn)lmid的距離d和車(chē)運動(dòng)時(shí)方向偏離中間線(xiàn)的角度φ有關(guān)。小車(chē)控制輸入為d，φ，輸出為VL，VR。

 

基于雙目立體視覺(jué)獲取得到的三維信息，即為經(jīng)左右圖像SIFT特征點(diǎn)匹配，在攝像頭坐標系中獲取前景環(huán)境中各關(guān)鍵點(diǎn)的坐標信息。選取關(guān)鍵點(diǎn)中與機器人基坐標系原點(diǎn)高度靠近的點(diǎn)，并且該點(diǎn)的個(gè)數需大于3，之后，采用最小二乘法擬合可得行駛區域的邊界直線(xiàn)，即確定了車(chē)體定位參數中左、右車(chē)道線(xiàn)lL、lR。直線(xiàn)與圖像右邊界存在交點(diǎn)，即可判斷出彎道轉向。同時(shí)，擬合確定的左車(chē)道線(xiàn)與圖像下邊緣的交點(diǎn)Pl0為第一個(gè)控制點(diǎn)；以圖像右邊界與擬合直線(xiàn)的交點(diǎn)處為第二個(gè)控制點(diǎn)Pln。圖5表示為前景環(huán)境中對特征點(diǎn)的匹配結果圖和判斷可行駛區域。

　　

對序列圖像進(jìn)行實(shí)時(shí)處理時(shí)，由于攝像機采集系統速度為30幀/s，車(chē)速在不超過(guò)33cm/s的情況下，采集一幀圖像智能車(chē)向前行駛約小于1cm，連續采集的兩幀圖像中所判斷的車(chē)道左右車(chē)道線(xiàn)和彎道方向偏差不會(huì )太大。

　　

 

 

實(shí)驗采用BP神經(jīng)網(wǎng)絡(luò )作為控制對偏離角φ進(jìn)行仿真實(shí)驗。在Simulink環(huán)境下搭建的系統模型中BP神經(jīng)網(wǎng)絡(luò )的搭建如圖6所示。U為經(jīng)由視覺(jué)信息得到的偏航角φ作為系統輸入量，輸出Y為小車(chē)質(zhì)心速度V。小車(chē)左、右輪速可在判斷彎道轉向的前提下，由兩輪速差VD經(jīng)計算得出。若如圖5所示，彎道轉向向右：

 

　　

 

利用Simulink庫中Signal Builder產(chǎn)生變化的Signal仿真實(shí)際環(huán)境中視覺(jué)系統得到的當前車(chē)體的偏移量。

 

小車(chē)經(jīng)左右輪差速轉彎運動(dòng)中質(zhì)心位置實(shí)際偏轉角度作為網(wǎng)絡(luò )的輸入，經(jīng)訓練學(xué)習反饋回系統的控制輸入端。圖7為控制仿真結果圖，由圖示可知該方法基本完成了對信號的控制跟蹤，由此說(shuō)明了利用雙目立體視覺(jué)所獲得的信息，并采用BP網(wǎng)絡(luò )自學(xué)習對道路的變化可適用于不同彎道的道路，避免了傳統PID控制方法因彎道曲率變化使得小車(chē)轉彎控制失敗。

 

 

借助機器視覺(jué)系統判斷小車(chē)可行駛區域，同時(shí)還可清晰地判斷出彎曲線(xiàn)路的走向，避免了彎道方向的復雜判別方法，且該方法普遍適用于不同的道路環(huán)境，特別是非結構化的道路環(huán)境，也增強了算法的實(shí)用性和魯棒性。但目前對雙目攝像機進(jìn)行精確匹配和標定仍然是個(gè)技術(shù)難題；神經(jīng)網(wǎng)絡(luò )訓練方法在選取訓練樣本數據和精確定位車(chē)輛位置方面也比較困難，這將是進(jìn)一步研究的主要關(guān)鍵問(wèn)題。來(lái)源：電子發(fā)燒友。

【推薦閱讀】