【導讀】視覺(jué)避障是指移動(dòng)機器人在行走過(guò)程中,通過(guò)傳感器感知到在其規劃路線(xiàn)上存在靜態(tài)或動(dòng)態(tài)障礙物時(shí),按照 一定的算法實(shí)時(shí)更新路徑,繞過(guò)障礙物,最后達到目標點(diǎn)。以下將從傳感器到算法原理,解讀機器人如何實(shí)現視覺(jué)避障。
避障常用哪些傳感器?
不管是要進(jìn)行導航規劃還是避障,感知周邊環(huán)境信息是第一步。就避障來(lái)說(shuō),移動(dòng)機器人需要通過(guò)傳感器 實(shí)時(shí)獲取自身周?chē)系K物信息,包括尺寸、形狀和位置等信息。避障使用的傳感器多種多樣,各有不同的原理和特點(diǎn),目前常見(jiàn)的主要有視覺(jué)傳感器、激光傳感器、紅外傳感器、超聲波傳感器等。下面我簡(jiǎn)單介紹一下這幾種傳感器的基本工作原理。
超聲波
超聲波傳感器的基本原理是測量超聲波的飛行時(shí)間,通過(guò)d=vt/2測量距離,其中d是距離,v是聲速,t是 飛行時(shí)間。由于超聲波在空氣中的速度與溫濕度有關(guān),在比較精確的測量中,需把溫濕度的變化和其它因素考慮進(jìn)去。
上面這個(gè)圖就是超聲波傳感器信號的一個(gè)示意。通過(guò)壓電或靜電變送器產(chǎn)生一個(gè)頻率在幾十kHz的超聲波脈沖組成波包,系統檢測高于某閾值的反向聲波,檢測到后使用測量到的飛行時(shí)間計算距離。超聲波傳感器一般作用距離較短,普通的有效探測距離都在幾米,但是會(huì )有一個(gè)幾十毫米左右的最小探測盲區。由于超聲傳感器的成本低、實(shí)現方法簡(jiǎn)單、技術(shù)成熟,是移動(dòng)機器人中常用的傳感器。超聲波傳感器也有一些缺點(diǎn),首先看下面這個(gè)圖。
因為聲音是錐形傳播的,所以我們實(shí)際測到的距離并不是 一個(gè)點(diǎn),而是某個(gè)錐形角度范圍內最近物體的距離。
另外,超聲波的測量周期較長(cháng),比如3米左右的物體,聲波傳輸這么遠的距離需要約20ms的時(shí)間。再者,不同材料對聲波的反射或者吸引是不相同的,還有多個(gè)超聲傳感器之間有可能會(huì )互相干擾,這都是實(shí)際應用的過(guò)程中需要考慮的。
紅外
一般的紅外測距都是采用三角測距的原理。紅外發(fā)射器按照一定角度發(fā)射紅外光束,遇到物體之后,光會(huì )反向回來(lái),檢測到反射光之后,通過(guò)結構上的幾何三角關(guān)系,就可以計算出物體距離D。
當D的距離足夠近的時(shí)候,上圖中L值會(huì )相當大,如果超過(guò)CCD的探測范圍,這時(shí),雖然物體很近,但是傳感器反而看不到了。當物體距離D很大時(shí),L值就會(huì )很小,測量量精度會(huì )變差。因此,常見(jiàn)的紅外傳感器 測量距離都比較近,小于超聲波,同時(shí)遠距離測量也有最小距離的限制。另外,對于透明的或者近似黑體的物體,紅外傳感器是無(wú)法檢測距離的。但相對于超聲來(lái)說(shuō),紅外傳感器具有更高的帶寬。
激光
常見(jiàn)的激光雷達是基于飛行時(shí)間的(ToF,time of flight),通過(guò)測量激光的飛行時(shí)間來(lái)進(jìn)行測距d=ct/2,類(lèi)似于前面提到的超聲測距公式,其中d是距離,c是光速,t是從發(fā)射到接收的時(shí)間間隔。激光雷達包括發(fā)射器和接收器 ,發(fā)射器用激光照射目標,接收器接收反向回的光波。機械式的激光雷達包括一個(gè)帶有鏡子的機械機構,鏡子的旋轉使得光束可以覆蓋 一個(gè)平面,這樣我們就可以測量到一個(gè)平面上的距離信息。
對飛行時(shí)間的測量也有不同的方法,比如使用脈沖激光,然后類(lèi)似前面講的超聲方案,直接測量占用的時(shí)間,但因為光速遠高于聲速,需要非常高精度的時(shí)間測量元件,所以非常昂貴;另一種發(fā)射調頻后的連續激光波,通過(guò)測量接收到的反射波之間的差頻來(lái)測量時(shí)間。
比較簡(jiǎn)單的方案是測量反射光的相移,傳感器以已知的頻率發(fā)射一定幅度的調制光,并測量發(fā)射和反向信號之間的相移,如上圖一。調制信號的波長(cháng)為lamda=c/f,其中c是光速,f是調制頻率,測量到發(fā)射和反射光束之間的相移差theta之后,距離可由lamda*theta/4pi計算得到,如上圖二。
激光雷達的測量距離可以達到幾十米甚至上百米,角度分辨率高,通??梢赃_到零點(diǎn)幾度,測距的精度也高。但測量距離的置信度會(huì )反比于接收信號幅度的平方,因此,黑體或者遠距離的物體距離測量不會(huì )像光亮的、近距離的物體那么好的估計。并且,對于透明材料,比如玻璃,激光雷達就無(wú)能為力了。還有,由于結構的復雜、器件成本高,激光雷達的成本也很高。
一些低端的激光雷達會(huì )采用三角測距的方案進(jìn)行測距。但這時(shí)它們的量程會(huì )受到限制,一般幾米以?xún)?,并且精度相對低一些,但用于室內低速環(huán)境的SLAM或者在室外環(huán)境只用于避障的話(huà),效果還是不錯的。
視覺(jué)
常用的計算機視覺(jué)方案也有很多種, 比如雙目視覺(jué),基于TOF的深度相機,基于結構光的深度相機等。深度相機可以同時(shí)獲得RGB圖和深度圖,不管是基于TOF還是結構光,在室外強光環(huán)境下效果都并不太理想,因為它們都是需要主動(dòng)發(fā)光的。
像基于結構光的深度相機,發(fā)射出的光會(huì )生成相對隨機但又固定的斑點(diǎn)圖樣,這些光斑打在物體上后,因為與攝像頭距離不同,被攝像頭捕捉到的位置也不相同,之后先計算拍到的圖的斑點(diǎn)與標定的標準圖案在不同位置的偏移,利用攝像頭位置、傳感器大小等參數就可以計算出物體與攝像頭的距離。而我們目前的E巡機器人主要是工作在室外環(huán)境,主動(dòng)光源會(huì )受到太陽(yáng)光等條件的很大影響,所以雙目視覺(jué)這種被動(dòng)視覺(jué)方案更適合,因此我們采用的視覺(jué)方案是基于雙目視覺(jué)的。
雙目視覺(jué)的測距本質(zhì)上也是三角測距法,由于兩個(gè)攝像頭的位置不同,就像我們人的兩只眼睛一樣,看到的物體不一樣。兩個(gè)攝像頭看到的同一個(gè)點(diǎn)P,在成像的時(shí)候會(huì )有不同的像素位置,此時(shí)通過(guò)三角測距就可以測出這個(gè)點(diǎn)的距離。與結構光方法不同的是,結構光計算的點(diǎn)是主動(dòng)發(fā)出的、已知確定的,而雙目算法計算的點(diǎn)一般是利用算法抓取到的圖像特征,如SIFT或SURF特征等,這樣通過(guò)特征計算出來(lái)的是稀疏圖。
要做良好的避障,稀疏圖還是不太夠的,我們需要獲得的是稠密的點(diǎn)云圖,整個(gè)場(chǎng)景的深度信息。稠密匹配的算法大致可以分為兩類(lèi),局部算法和全局算法。局部算法使用像素局部的信息來(lái)計算其深度,而全局算法采用圖像中的所有信息進(jìn)行計算。一般來(lái)說(shuō),局部算法的速度更快,但全局算法的精度更高。
這兩類(lèi)各有很多種不同方式的具體算法實(shí)現。能過(guò)它們的輸出我們可以估算出整個(gè)場(chǎng)景中的深度信息,這個(gè)深度信息可以幫助我們尋找地圖場(chǎng)景中的可行走區域以及障礙物。整個(gè)的輸出類(lèi)似于激光雷達輸出的3D點(diǎn)云圖,但是相比來(lái)講得到信息會(huì )更豐富,視覺(jué)同激光相比優(yōu)點(diǎn)是價(jià)格低很多,缺點(diǎn)也比較明顯,測量精度要差 一些,對計算能力的要求也高很多。當然,這個(gè)精度差是相對的,在實(shí)用的過(guò)程中是完全足夠的,并且我們目前的算法在我們的平臺NVIDIA TK1和TX1上是可以做到實(shí)時(shí)運行。
KITTI采集的圖
實(shí)際輸出的深度圖,不同的顏色代表不同的距離
在實(shí)際應用的過(guò)程中,我們從攝像頭讀取到的是連續的視頻幀流,我們還可以通過(guò)這些幀來(lái)估計場(chǎng)景中 目標物體的運動(dòng),給它們建立運動(dòng)模型,估計和預測它們的運動(dòng)方向、運動(dòng)速度,這對我們實(shí)際行走、避障規劃是很有用的。
以上幾種是最常見(jiàn)的幾種傳感器 ,各有其優(yōu)點(diǎn)和缺點(diǎn),在真正實(shí)際應用的過(guò)程中,一般是綜合配置使用多種不同的傳感器 ,以最大化保證在各種不同的應用和環(huán)境條件下,機器人都能正確感知到障礙物信息。我們公司的E巡機器人的避障方案就是以雙目視覺(jué)為主,再輔助以多種其他傳感器,保證機器人周邊360度空間立體范圍內的障礙物都能被有效偵測到,保證機器人行走的安全性。
避障常用算法原理
在講避障算法之前,我們假定機器人已經(jīng)有了一個(gè)導航規劃算法對自己的運動(dòng)進(jìn)行規劃,并按照規劃的路徑行走。避障算法的任務(wù)就是在機器人執行正常行走任務(wù)的時(shí)候,由于傳感器的輸入感知到了障礙物的存在,實(shí)時(shí)地更新目標軌跡,繞過(guò)障礙物。
Bug算法知乎用戶(hù)無(wú)方表示
Bug算法應該是最簡(jiǎn)單的一種避障算法了,它的基本思想是在發(fā)現障礙后,圍著(zhù)檢測到的障礙物輪廓行走,從而繞開(kāi)它。Bug算法目前有很多變種, 比如Bug1算法,機器人首先完全地圍繞物體,然后從距目標最短距離的點(diǎn)離開(kāi)。Bug1算法的效率很低,但可以保證機器人達到目標。
Bug1算法示例
改進(jìn)后的Bug2算法中,機器人開(kāi)始時(shí)會(huì )跟蹤物體的輪廓,但不會(huì )完全圍繞物體一圈,當機器人可以直接移動(dòng)至目標時(shí),就可以直接從障礙分離,這樣可以達到比較短的機器人行走總路徑。
Bug2算法示例
除此之外,Bug算法還有很多其他的變種, 比如正切Bug算法等等。在許多簡(jiǎn)單的場(chǎng)景中,Bug算法是實(shí)現起來(lái)比較容易和方便的,但是它們并沒(méi)有考慮到機器人的動(dòng)力學(xué)等限制,因此在更復雜的實(shí)際環(huán)境中就不是那么可靠好用了。
勢場(chǎng)法(PFM)
實(shí)際上,勢場(chǎng)法不僅僅可以用來(lái)避障,還可以用來(lái)進(jìn)行路徑的規劃。勢場(chǎng)法把機器人處理在勢場(chǎng)下的 一個(gè)點(diǎn),隨著(zhù)勢場(chǎng)而移動(dòng),目標表現為低谷值,即對機器人的吸引力,而障礙物扮演的勢場(chǎng)中的一個(gè)高峰,即斥力,所有這些力迭加于機器人身上,平滑地引導機器人走向目標,同時(shí)避免碰撞已知的障礙物。當機器人移動(dòng)過(guò)程中檢測新的障礙物,則需要更新勢場(chǎng)并重新規劃。
上面這個(gè)圖是勢場(chǎng)比較典型的示例圖,最上的圖a左上角是出發(fā)點(diǎn),右下角是目標點(diǎn),中間三個(gè)方塊是障礙物。中間的圖b就是等勢位圖,圖中的每條連續的線(xiàn)就代表了一個(gè)等勢位的一條線(xiàn),然后虛線(xiàn)表示的在整個(gè)勢場(chǎng)里面所規劃出來(lái)的一條路徑,我們的機器人是沿著(zhù)勢場(chǎng)所指向的那個(gè)方向一直行走,可以看見(jiàn)它會(huì )繞過(guò)這個(gè)比較高的障礙物。
最下面的圖,即我們整個(gè)目標的吸引力還有我們所有障礙物產(chǎn)生的斥力最終形成的一個(gè)勢場(chǎng)效果圖,可以看到機器人從左上角的出發(fā)點(diǎn)出發(fā),一路沿著(zhù)勢場(chǎng)下降的方向達到最終的目標點(diǎn),而每個(gè)障礙物勢場(chǎng)表現出在很高的平臺,所以,它規劃出來(lái)的路徑是不會(huì )從這個(gè)障礙物上面走的。
一種擴展的方法在基本的勢場(chǎng)上附加了了另外兩個(gè)勢場(chǎng):轉運勢場(chǎng)和任務(wù)勢場(chǎng)。它們額外考慮了由于機器人本身運動(dòng)方向、運動(dòng)速度等狀態(tài)和障礙物之間的相互影響。
轉動(dòng)勢場(chǎng)考慮了障礙與機器人的相對方位,當機器人朝著(zhù)障礙物行走時(shí),增加斥力, 而當平行于物體行走時(shí),因為很明顯并不會(huì )撞到障礙物,則減小斥力。任務(wù)勢場(chǎng)則排除了那些根據當前機器人速度不會(huì )對近期勢能造成影響的障礙,因此允許規劃出 一條更為平滑的軌跡。
另外還有諧波勢場(chǎng)法等其他改進(jìn)方法。勢場(chǎng)法在理論上有諸多局限性, 比如局部最小點(diǎn)問(wèn)題,或者震蕩性的問(wèn)題,但實(shí)際應用過(guò)程中效果還是不錯的,實(shí)現起來(lái)也比較容易。
向量場(chǎng)直方圖(VFH)
它執行過(guò)程中針對移動(dòng)機器人當前周邊環(huán)境創(chuàng )建了一個(gè)基于極坐標表示的局部地圖,這個(gè)局部使用柵格圖的表示方法,會(huì )被最近的一些傳感器數據所更新。VFH算法產(chǎn)生的極坐標直方圖如圖所示:
圖中x軸是以機器人為中心感知到的障礙物的角度,y軸表示在該方向存在障礙物的概率大小p。實(shí)際應用的過(guò)程中會(huì )根據這個(gè)直方圖首先辨識出允許機器人通過(guò)的足夠大的所有空隙,然后對所有這些空隙計算其代價(jià)函數,最終選擇具有最低代價(jià)函數的通路通過(guò)。
代價(jià)函數受三個(gè)因素影響: 目標方向、機器人當前方向、之前選擇的方向,最終生成的代價(jià)是這三個(gè)因素的加權值,通過(guò)調節不同的權重可以調整機器人的選擇偏好。VFH算法也有其他的擴展和改進(jìn),比如在VFH+算法中,就考慮了機器人運動(dòng)學(xué)的限制。由于實(shí)際底層運動(dòng)結構的不同,機器的實(shí)際運動(dòng)能力是受限的,比如汽車(chē)結構,就不能隨心所欲地原地轉向等。VFH+算法會(huì )考慮障礙物對機器人實(shí)際運動(dòng)能力下軌跡的阻擋效應,屏蔽掉那些雖然沒(méi)有被障礙物占據但由于其阻擋實(shí)際無(wú)法達到的運動(dòng)軌跡。我們的E巡機器人采用的是兩輪差動(dòng)驅動(dòng)的運動(dòng)形式,運動(dòng)非常靈活,實(shí)際應用較少受到這些因素的影響。
具體可以看 一下這個(gè)圖示:
類(lèi)似這樣傳統的避障方法還有很多,除此之外,還有許多其他的智能避障技術(shù),比如神經(jīng)網(wǎng)絡(luò )、模糊邏輯等。
神經(jīng)網(wǎng)絡(luò )方法對機器人從初始位置到目標位置的整個(gè)行走路徑進(jìn)行訓練建模,應用的時(shí)候,神經(jīng)網(wǎng)絡(luò )的輸 入為之前機器人的位姿和速度以及傳感器的輸 入,輸出期望的下一目標或運動(dòng)方向。
模糊邏輯方法核心是模糊控制器,需要將專(zhuān)家的知識或操作人員的經(jīng)驗寫(xiě)成多條模糊邏輯語(yǔ)句,以此控制機器人的避障過(guò)程。 比如這樣的模糊邏輯:第一條,若右前方較遠處檢測到障礙物,則稍向左轉;第 二條,若右前方較近處檢測到障礙物,則減速并向左轉更多角度等。