【導讀】有多種 3D 傳感器方案來(lái)實(shí)現深度感知系統，包括立體視覺(jué)相機、激光雷達和TOF(飛行時(shí)間)相機。每個(gè)選擇都有其優(yōu)缺點(diǎn)，其中，嵌入式深度感知立體系統成本低，堅固耐用，適合戶(hù)外使用，并且能夠提供高分辨率的彩色點(diǎn)云。
目前市場(chǎng)上有各種現成的立體感知系統。有時(shí)系統工程師需求根據精度、基線(xiàn)(兩個(gè)相機間距)、視野和分辨率等因素，構建定制系統來(lái)滿(mǎn)足特定的應用需求。
在本文中，我們首先介紹了立體視覺(jué)系統的主要部分，并提供了有關(guān)使用硬件組成和開(kāi)源軟件制作定制立體相機的說(shuō)明。由于此設置專(zhuān)注于嵌入式系統，因此它將實(shí)時(shí)計算任何場(chǎng)景的深度圖，而無(wú)需電腦主機。在另一篇文章中，我們將討論如何在空間較少的情況下構建定制立體視覺(jué)系統，以便與電腦主機一起使用。
立體視覺(jué)概述
立體視覺(jué)是通過(guò)從兩個(gè)視角比較場(chǎng)景中的信息，從數字圖像中提取 3D 信息。物體在兩個(gè)圖像平面中的相對位置可提供關(guān)于物體距離相機的深度的信息。
立體視覺(jué)系統概述如圖 1 所示，包括以下關(guān)鍵步驟：
校準：相機校準包括內部校準和外部校準。內部校準確定圖像中心、焦距和失真參數，而外部校準確定相機的 3D 位置。這在許多計算機視覺(jué)應用中是至關(guān)重要的一步，尤其是在需要有關(guān)場(chǎng)景的計量信息（例如深度）時(shí)。我們將在下文第 5 節詳細討論校準步驟。
糾正：立體糾正是指將圖像平面重新投影到與相機中心之間的線(xiàn)平行的公共平面上的過(guò)程。糾正后，對應點(diǎn)位于同一行，大大降低了匹配的成本和模糊度。此步驟在提供的代碼中完成，用于構建您自己的系統。
立體匹配：這是指在左右圖像之間匹配像素的過(guò)程，從而產(chǎn)生視差圖像。提供的代碼中將使用半全局匹配 (SGM) 算法來(lái)構建您自己的系統。
三角測量：三角測量是指在給定 3D 空間中的點(diǎn)投影到兩個(gè)圖像上的情況下確定該點(diǎn)的過(guò)程。視差圖像將轉換為 3D 點(diǎn)云。
圖 1：立體視覺(jué)系統概述
設計示例
我們來(lái)看一個(gè)立體聲系統設計示例。以下是移動(dòng)機器人在具有快速移動(dòng)物體的動(dòng)態(tài)環(huán)境中的應用要求。有關(guān)場(chǎng)景大小為 2 m，相機到場(chǎng)景的距離為 3 m，在 3 m 處所需的精度為 1 cm。
有關(guān)立體精度的更多詳細信息，請參閱本文。深度誤差由下式給出：ΔZ=Z2/Bf * Δd，這取決于以下因素：
● Z 是范圍
● B 是基線(xiàn)
● f 是以像素為單位的焦距，與相機視野和圖像分辨率有關(guān)
有多種設計選項可以滿(mǎn)足這些要求。根據上述場(chǎng)景大小和距離要求，我們可以確定特定傳感器的鏡頭焦距。結合基線(xiàn)，我們可以使用上述公式計算 3 m 處的預期深度誤差，以驗證其是否滿(mǎn)足精度要求。
圖 2 顯示了兩個(gè)選項，使用基線(xiàn)較長(cháng)的低分辨率相機或基線(xiàn)較短的高分辨率相機。第一個(gè)選項是較大的相機，但計算需求較低，而第二個(gè)選項是更緊湊的相機，但計算需求較高。對于此應用，我們選擇了第二個(gè)選項，因為緊湊的尺寸更適合移動(dòng)機器人，我們可以使用適用于 TX2 的 Quartet 嵌入式解決方案，該解決方案具有強大的板載 GPU 來(lái)滿(mǎn)足處理需求。
圖 2：示例應用的立體聲系統設計選項
硬件要求
在本例中，我們使用 IMX273 Sony Pregius 全局快門(mén)傳感器將兩臺 Blackfly S 板級 160 萬(wàn)像素相機安裝在 12 cm 基線(xiàn)處的 3D 印刷桿上。這兩臺相機都有類(lèi)似的 6 mm S 接口鏡頭。相機使用兩條 FPC 電纜連接到“適用于 TX2 的 Quartet 嵌入式解決方案”定制載板。為了同步左右相機以同時(shí)捕捉圖像，制作了一條連接兩個(gè)相機的同步電纜。圖 3 顯示了我們定制的嵌入式立體聲系統的前后視圖。
圖 3：定制嵌入式立體聲系統的前后視圖
下表列出了所有硬件組件：
應調整兩個(gè)鏡頭，以將相機聚焦在您的應用所需的距離范圍內。擰緊每個(gè)鏡頭上的螺釘（圖 4 中以紅色圈出）以保持對焦。
圖 4：顯示鏡頭螺釘的立體聲系統側視圖
軟件要求
a. Spinnaker
Teledyne FLIR Spinnaker SDK 已預裝在適用于 TX2 的 Quartet 嵌入式解決方案中。Spinnaker 需要與相機進(jìn)行通信。
b. 支持 CUDA 的 OpenCV 4.5.2
SGM（我們正在使用的立體匹配算法）需要 OpenCV 4.5.1 或更高版本。下載包含本文代碼的 zip 文件，并將其解壓縮到 StereoDepth 文件夾。安裝 OpenCV 的腳本是 OpenCVInstaller.sh。在終端中鍵入以下命令：
● cd ~/StereoDepth
● chmod +x OpenCVInstaller.sh
● ./OpenCVInstaller.sh
安裝程序將要求您輸入管理員密碼。安裝程序將開(kāi)始安裝 OpenCV 4.5.2。下載和構建 OpenCV 可能需要幾個(gè)小時(shí)。
校準
抓取和校準立體圖像的代碼可在 “Calibration” 文件夾中找到。使用 SpinView GUI 識別左右相機的序列號。在我們的設置中，右相機是主相機，左相機是從相機。將主從相機序列號復制到文件 grabStereoImages.cpp 第 60 和 61 行。在終端中使用以下命令構建可執行文件：
● cd ~/StereoDepth/Calibration
● mkdir build
● mkdir -p images/{left, right}
● cd build
● cmake ..
● make
從此鏈接打印出棋盤(pán)狀圖案，并將其貼在平面上用作校準目標。為了在校準時(shí)獲得最佳效果，在 SpinView 中將 Exposure Auto 設置為 Off 并調整曝光，使棋盤(pán)狀圖案清晰且白色方塊不會(huì )過(guò)度曝光，如圖 5 所示。收集校準圖像后，增益和曝光可在 SpinView 中設置為自動(dòng)。
圖 5：SpinView GUI 設置
要開(kāi)始收集圖像，請鍵入
./grabStereoImages
代碼應以大約 1 幀/秒的速度開(kāi)始收集圖像。左側圖像存儲在 images/left 文件夾中，右側圖像存儲在 images/right 文件夾中。移動(dòng)目標，使其出現在圖像的每個(gè)角落。您可以旋轉目標，從近處和遠處拍攝圖像。默認情況下，該程序捕獲 100 個(gè)圖像對，但可以使用命令行參數進(jìn)行更改：
./grabStereoImages 20
這將僅收集 20 對圖像。請注意，這將覆蓋之前寫(xiě)入文件夾中的所有圖像。部分示例校準圖像如圖 6 所示。
圖 6：示例校準圖像
收集圖像后，通過(guò)鍵入以下內容運行校準 Python 代碼：
● cd ~/StereoDepth/Calibration
● python cameraCalibration.py
這將生成 2 個(gè)名為 “intrinsics.yml” 和 “extrinsics.yml” 的文件，其中包含立體聲系統的內部和外部參數。該代碼默認采用 30mm 棋盤(pán)方格，但可以根據需要進(jìn)行編輯。在校準結束時(shí)，它會(huì )顯示 RMS 誤差，表明校準的好壞。良好校準的典型 RMS 誤差應低于 0.5 像素。
實(shí)時(shí)深度圖
實(shí)時(shí)計算視差的代碼位于 “Depth” 文件夾中。將相機序列號復制到文件 live_disparity.cpp 第 230 和 231 行。在終端中使用以下命令構建可執行文件：
● cd ~/StereoDepth/Depth
● mkdir build
● cd build
● cmake ..
● make
將校準步驟中獲得的 “intrinsics.yml” 和 “extrinsics.yml” 文件復制到此文件夾。要運行實(shí)時(shí)深度圖演示，請鍵入
./live_disparity
它將顯示左相機圖像（原始未糾正圖像）和深度圖（我們的最終輸出）。部分示例輸出如圖 7 所示。與相機的距離根據深度圖右側的圖例進(jìn)行顏色編碼。深度圖中的黑色區域意味著(zhù)在該區域中沒(méi)有發(fā)現視差數據。得益于 NVIDIA Jetson TX2 GPU，它在 1440 × 1080 的分辨率下可運行高達 5 幀/秒，在 720 × 540 的分辨率下可運行高達 13 幀/秒。
要查看特定點(diǎn)的深度，請在深度圖中單擊該點(diǎn)，深度將會(huì )顯示出來(lái)，如圖 7 中最后一個(gè)示例所示。
圖 7：對左相機圖像和相應的深度圖進(jìn)行采樣。底部深度圖還會(huì )顯示特定點(diǎn)的深度。
摘要
使用立體視覺(jué)來(lái)形成深度信息感知的優(yōu)勢眾多，包括在戶(hù)外工作良好，能夠提供高分辨率的深度圖，可通過(guò)低成本的現成組件制作。當您需要開(kāi)發(fā)一個(gè)定制化的嵌入式立體感知系統，根據此處提供的說(shuō)明進(jìn)行操作，也將是一個(gè)相對簡(jiǎn)單的任務(wù)。
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
先進(jìn)的隔離式封裝在大功率電池充電設計中的優(yōu)勢
