【導讀】圖像傳感器廣泛用于安防監控、隨身記錄儀、可視門(mén)鈴和機器人等應用，必須能夠在各種惡劣成像條件下穩定工作，以支持圖像視覺(jué)和機器視覺(jué)等功能。高動(dòng)態(tài)范圍場(chǎng)景、運動(dòng)物體或 LED 閃爍等惡劣成像條件，會(huì )導致攝像頭難以準確捕捉畫(huà)面。
圖像傳感器廣泛用于安防監控、隨身記錄儀、可視門(mén)鈴和機器人等應用，必須能夠在各種惡劣成像條件下穩定工作，以支持圖像視覺(jué)和機器視覺(jué)等功能。高動(dòng)態(tài)范圍場(chǎng)景、運動(dòng)物體或 LED 閃爍等惡劣成像條件，會(huì )導致攝像頭難以準確捕捉畫(huà)面。
什么是 HDR，為什么需要 HDR？
圖像傳感器的動(dòng)態(tài)范圍用于描述傳感器在較暗和較亮區域中捕獲圖像細節的能力。只有動(dòng)態(tài)范圍較高的圖像才能讓人同時(shí)看到亮區和暗區的細節。人眼的動(dòng)態(tài)范圍可以達到 100 dB 以上，但單次曝光的攝像頭很難達到這一水平。
為了擴展動(dòng)態(tài)范圍，常用的方法是拍攝多張曝光時(shí)間不同的低動(dòng)態(tài)范圍圖像，然后將它們合并在一起以獲得高動(dòng)態(tài)范圍圖像。長(cháng)曝光圖像可捕捉圖像中的暗區，而短曝光圖像可捕捉亮區，因此在合并后的圖像中，我們將能夠看到分別利用長(cháng)曝光信號和短曝光信號形成的暗區和亮區。
線(xiàn)性化與相關(guān)的挑戰
合并各張圖像的過(guò)程稱(chēng)為線(xiàn)性化。多張圖像的線(xiàn)性化需占用大量?jì)却?，此外為?shí)現高幀率，還需具備強大的處理能力作為支撐。
完成線(xiàn)性化后，在查看已合并的高動(dòng)態(tài)范圍圖像時(shí)，還可能會(huì )遇到特定的圖像質(zhì)量問(wèn)題。在惡劣的成像條件下，這些圖像質(zhì)量問(wèn)題或偽影會(huì )變得更加明顯。
例如，以下成像條件會(huì )導致偽影問(wèn)題更加明顯：
場(chǎng)景中有運動(dòng)物體
場(chǎng)景中有 LED 燈閃爍
空間內鄰近區域使用來(lái)自多張圖像的數據
安森美 (onsemi)的白皮書(shū)《利用低帶寬高動(dòng)態(tài)范圍 (eHDR) 技術(shù)提高物體識別精度》說(shuō)明了 eHDR 相對于 LI?HDR 在帶寬和節省能耗方面的優(yōu)勢。該白皮書(shū)重點(diǎn)介紹了由安森美的 AR0822 圖像傳感器提供支持的線(xiàn)性化模式，其中的嵌入式高動(dòng)態(tài)范圍 (eHDR) 技術(shù)無(wú)需依賴(lài)于主機 ISP/SoC，便能在傳感器上創(chuàng )建 HDR 圖像。AR0822 圖像傳感器的 eHDR 技術(shù)能夠有效應對通過(guò)線(xiàn)性化將多張圖像合成 HDR 圖像時(shí)所遇到的重大難題，尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問(wèn)題。
智能線(xiàn)性化改善轉換信噪比
一般的線(xiàn)性化過(guò)程會(huì )先使用長(cháng)曝光信號，直至長(cháng)曝光飽和（12 位 ADC 為 4095LSB），然后利用短曝光信號計算 HDR 圖像中所需的線(xiàn)性化信號。在 HDR 圖像中，由于短曝光信號的信噪比遠低于長(cháng)曝光信號，因此從長(cháng)曝光信號轉換到短曝光信號時(shí)會(huì )導致出現較明顯的偽影現象。當 ISP 對該圖像進(jìn)行后處理時(shí)，偽影可能會(huì )進(jìn)一步放大。
為了有效管理從長(cháng)曝光到短曝光的轉換過(guò)程，智能線(xiàn)性化會(huì )對長(cháng)曝光和短曝光信號進(jìn)行加權組合，從而計算出一個(gè)信號。其中，長(cháng)曝光和短曝光依據各自的信號水平被賦予不同的權重。通過(guò)這種智能線(xiàn)性化處理，當從長(cháng)曝光切換到短曝光時(shí)，信號會(huì )平滑傳輸。
圖 1 顯示了由頂部散射光照亮的相同場(chǎng)景，當我們由上至下觀(guān)察這個(gè)灰色場(chǎng)景，會(huì )發(fā)現信號水平下降，圖像也從短曝光轉換到長(cháng)曝光。圖 1 的左側圖像未啟用智能線(xiàn)性化功能?？梢钥吹郊t色箭頭處存在較明顯的偽影現象，這正是因不同曝光水平而造成的轉換偽影。
圖 1 的右側圖像開(kāi)啟了智能線(xiàn)性化功能，可以看到偽影現象顯著(zhù)緩解，能給人以更舒適的觀(guān)感，而且也降低了被機器視覺(jué)算法誤認為是邊緣的風(fēng)險。由此可見(jiàn)，AR0822 的智能線(xiàn)性化技術(shù)有助于實(shí)現不同曝光水平下信噪比的平滑過(guò)渡，避免信噪比突然變化。
圖 1.智能線(xiàn)性化技術(shù)能夠確保圖像在不同曝光水平下平滑過(guò)渡
智能線(xiàn)性化改善運動(dòng)偽影成像
對運動(dòng)場(chǎng)景進(jìn)行多次曝光成像時(shí)，可能出現長(cháng)曝光信號和經(jīng)線(xiàn)性化的短曝光信號不等效的情況，這是由于場(chǎng)景中物體正在運動(dòng)造成的，并有可能導致出現顏色偽影，即在運動(dòng)發(fā)生的區域中存在色調變化。
減少長(cháng)曝光時(shí)間在一定程度上有助于減小偽影的面積，但這種方法的可操作性不高，可能會(huì )造成大部分場(chǎng)景處于低光狀態(tài)，導致整個(gè)場(chǎng)景的整體圖像質(zhì)量下降。
AR0822 傳感器的智能線(xiàn)性化功能可以有效緩解場(chǎng)景中的顏色偽影。該功能會(huì )首先檢測場(chǎng)景中的運動(dòng)，即短曝光與長(cháng)曝光在線(xiàn)性化信號水平上的差異。然后將根據檢測到的運動(dòng)程度，使用長(cháng)曝光和短曝光的組合信號水平來(lái)減輕場(chǎng)景中的運動(dòng)偽影。
圖 2 為背景中有旋轉風(fēng)扇的例子，對比了在智能線(xiàn)性化關(guān)閉和開(kāi)啟兩種情況下的成像情況。智能線(xiàn)性化關(guān)閉時(shí)，風(fēng)扇葉片頂部附近區域出現了顏色偽影，這是由長(cháng)曝光與線(xiàn)性化短曝光的信號水平差異造成的。在右側圖像，智能線(xiàn)性化算法檢測到了這一情況并進(jìn)行了校正。
圖 2.智能線(xiàn)性化 – 減少運動(dòng)偽影
圖 3 放大了圖 2 的部分細節。智能線(xiàn)性化關(guān)閉時(shí)，風(fēng)扇葉片附近出現了黃色的運動(dòng)偽影，而不是橙色。開(kāi)啟智能線(xiàn)性化可以有效減輕這種顏色偽影。
圖 3.智能線(xiàn)性化技術(shù)能夠有效緩解運動(dòng)偽影
智能線(xiàn)性化改善 LED 閃爍成像
在一般線(xiàn)性化過(guò)程中，場(chǎng)景中不停閃爍的 LED 燈可能會(huì )導致圖像傳感器的某個(gè)顏色通道通過(guò)長(cháng)曝光成像，而另一個(gè)顏色通道通過(guò)短曝光成像，具體取決于每個(gè)顏色通道的信號水平。因此，當某個(gè)顏色通道正通過(guò)長(cháng)曝光成像時(shí)，LED燈處于開(kāi)啟狀態(tài)；而當另一個(gè)顏色通道進(jìn)行短曝光成像時(shí)，LED燈已經(jīng)關(guān)閉。后續合并不同曝光時(shí)間的圖像時(shí)，圖像的色調可能會(huì )因此而改變。在比較糟糕的情況下，圖像中會(huì )顯示 LED 為關(guān)閉狀態(tài)，而肉眼卻看到 LED 正亮著(zhù)。
智能線(xiàn)性化可以通過(guò)檢測長(cháng)曝光與短曝光的線(xiàn)性化信號的差異，來(lái)感測由 LED 閃爍引起的閃爍偽影。它能根據觀(guān)測到的線(xiàn)性化信號的差異程度，智能地組合長(cháng)曝光和短曝光，從而有效減輕顏色偽影。短曝光成像常會(huì )導致閃爍的 LED 呈關(guān)閉狀態(tài)，而開(kāi)啟智能線(xiàn)性化則可以避免這個(gè)問(wèn)題，讓圖像更接近我們人眼觀(guān)察到的情況。
圖 4 對比了智能線(xiàn)性化關(guān)閉和開(kāi)啟兩種情況下的 LED 閃爍圖像。智能線(xiàn)性化關(guān)閉時(shí)，場(chǎng)景中的一些 LED 燈會(huì )顯示顏色偽影，這是由長(cháng)曝光與短曝光的信號水平差異造成的。在右側圖像，智能線(xiàn)性化算法檢測到了這一情況并進(jìn)行了校正。
圖 4.智能線(xiàn)性化 ? 視頻快照
圖 5 放大了圖 4 中的 LED 燈局部細節。智能線(xiàn)性化關(guān)閉時(shí)，在視頻中會(huì )看到閃爍的偽影，或者在快照圖像中會(huì )看到紅色箭頭所標記的顏色偽影。開(kāi)啟智能線(xiàn)性化可以有效減輕這些顏色偽影/閃爍偽影，如右側圖像所示。
圖 5.智能線(xiàn)性化技術(shù)能夠有效減少 LED 偽影
智能線(xiàn)性化的集成優(yōu)勢
隨著(zhù)攝像頭分辨率的持續提升以及汽車(chē)或監控系統所連接的攝像頭數量不斷攀升，片外ISP/SoC的處理負擔日益加劇，進(jìn)而使得算力和功耗問(wèn)題愈發(fā)凸顯。將線(xiàn)性化算法轉移到傳感器有助于節省SoC的計算時(shí)間，同時(shí)提高傳輸幀率。憑借AR0822傳感器的智能線(xiàn)性化等先進(jìn)算法，安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影，并且單個(gè)和多個(gè)傳感器可以輕松集成到ISP/SoC上。
文章來(lái)源：安森美
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
使用ROS1驅動(dòng)程序來(lái)操控ADI Trinamic電機控制器
干貨！UWB新國標深度解讀 | 大帶寬模式是國產(chǎn)化突圍的關(guān)鍵
如何利用精密部件經(jīng)濟高效地實(shí)現可靠的飛機導航系統
