ITD Lab的秘密武器是首席技術(shù)官実吉敬二(Keiji Saneyoshi)，他是日本車(chē)廠(chǎng)斯巴魯(Subaru)智能駕駛輔助系統EyeSight之父，是該車(chē)廠(chǎng)原創(chuàng )立體視覺(jué)系統“Stereo Range Imager”幕后的首席工程師；実吉任職于Subaru時(shí)率領(lǐng)的團隊，開(kāi)發(fā)了第一套只利用立體攝像頭(stereo cameras)來(lái)偵測物體，例如車(chē)輛、行人、自行車(chē)或機車(chē)騎士的駕駛輔助系統。

 

Keiji Saneyoshi

 

実吉在1998年離開(kāi)Subaru進(jìn)入學(xué)界，在東京工業(yè)大學(xué)(Tokyo Institute of Technology，TIT)擔任教授直到2017年初；他在TIT任教期間指導的團隊進(jìn)一步提升了原始立體視覺(jué)算法，并在2016年5月成立ITD Lab

 

顯然先進(jìn)的立體視覺(jué)(stereo-vision technology)技術(shù)就是実吉與ITD Lab的專(zhuān)長(cháng)所在，該技術(shù)可提供“距離估算”(distance estimation)，這是單眼攝像頭無(wú)法做到的。然而，傳感器融合在現今汽車(chē)產(chǎn)業(yè)領(lǐng)域蔚為風(fēng)潮，ITD Lab推動(dòng)立體視覺(jué)在A(yíng)DAS的應用似乎是違背直覺(jué)。

 

盡管立體視覺(jué)曾經(jīng)被視為ADAS來(lái)說(shuō)至關(guān)重要的差異化技術(shù)，聚焦于高度自動(dòng)化駕駛車(chē)輛的一線(xiàn)汽車(chē)零組件供應商(Tier One)與車(chē)廠(chǎng)傾向于認為立體視覺(jué)不那么相關(guān)；產(chǎn)業(yè)界形成的共識是，單視覺(jué)(Monovision)的局限可以透過(guò)單眼攝像頭與雷達的結合來(lái)解決。

 

実吉坦承，雷達-單視覺(jué)方案確有進(jìn)展，不過(guò)他仍然對ITD Lab的立體視覺(jué)技術(shù)有信心，因為該技術(shù)不需要融合雷達數據，能提供在3D距離量測、自我位置識別、防碰撞、物體追蹤、車(chē)道識別、道路邊界識別等方面表現卓越性能，速度可達每秒60訊框(frames)、最高甚至可達每秒160個(gè)訊框。

 

曾受教于実吉的ITD Lab首席執行官小倉明宏(Akihiro Ogura)接受EE Times采訪(fǎng)時(shí)表示，該公司技術(shù)的其他優(yōu)勢包括支持“自動(dòng)校準”(automatic calibration)，能吸收制造失誤與安裝時(shí)的連接失誤；而小倉強調，ITD Lab的技術(shù)目標是以較低的成本提供最高安全性，該公司應用于A(yíng)DAS的解決方案之成本會(huì )低于Intel/Mobileye的方案。

 

ITD Lab是在一個(gè)黑盒子里提供其先進(jìn)立體視覺(jué)算法，以?xún)Υ嬖赗OM中的程序代碼形式，用以啟動(dòng)Intel-Altera的Cyclone FPGA。

 

ITD Lab展示其智能立體攝像頭(左上) （來(lái)源：EE Times）

 

與EyeSight系出同源

 

雖然ITD Lab是一家新創(chuàng )公司，卻因為技術(shù)與Subaru的EyeSight有血緣關(guān)系而很少遇到信譽(yù)相關(guān)的問(wèn)題。如技術(shù)顧問(wèn)公司VSI Labs創(chuàng )辦人暨首席顧問(wèn)Phil Magney所言：“EyeSight是很可靠的解決方案，而且已經(jīng)存在市場(chǎng)好一段時(shí)間；Subaru在推出前向(forward-facing) ADAS解決方案后不久就贏(yíng)得不少贊賞，這成為Subaru車(chē)用安全解決方案陣容的基礎。”

 

以実吉在Subaru開(kāi)發(fā)的Stereo Range Imager為基礎，ITD Lab聲稱(chēng)其解決方案有進(jìn)一步的改善，特別是在自動(dòng)校準、視差影像精確度(parallax image accuracy)、計算性能(平行處理優(yōu)化)等方面。不過(guò)也有部分產(chǎn)業(yè)觀(guān)察家指出，立體視覺(jué)不再是ADAS的唯一解答。

 

針對Subaru的EyeSight，市場(chǎng)研究機構The Linley Group資深分析師Mike Demler的觀(guān)察是：“Subaru顯然利用了雙攝像頭進(jìn)行距離估算，以支持其適應性巡航控制與自動(dòng)剎車(chē)/油門(mén)等功能，這是罕見(jiàn)的選擇；”他指出：“雷達現在是該類(lèi)功能更熱門(mén)的技術(shù)選項，也更精確可靠，因為不必顧慮光線(xiàn)情況與雨雪等情境。”

 

而Demler指出，使用立體攝像頭的唯一理由是3D建模以及距離估算，他猜測実吉選擇立體視覺(jué)方法而非攝像頭-雷達系統，只是因為他對前者比較熟悉。不過(guò)実吉堅稱(chēng)，立體視覺(jué)方案──藉由在整個(gè)流程中保持光流(optical flow)──能讓ADAS更簡(jiǎn)單而且容易，因為不需要傳感器融合。

 

VSI Labs的Magney部分同意実吉的意見(jiàn)；他指出：“采用立體視覺(jué)做為主要傳感器，就不必擔心雷達，”而且能讓你“把所有的處理程序包進(jìn)立體視覺(jué)模塊中，所以在布署之前一切都設定妥當；”然而他也指出：“更常見(jiàn)的方法是將單眼攝像頭搭配雷達，可以更合理地量測物體的深度以及運動(dòng)。”

 

確實(shí)，雷達技術(shù)一直在變得更好；如Magney所言，它抵抗天氣的能力比攝像頭更好。在另一方面，雷達的最大問(wèn)題仍然是“誤報”。隨著(zhù)傳感器融合的勢力不斷擴大，ITD的立體視覺(jué)技術(shù)有可能已經(jīng)過(guò)時(shí)，但該公司首席執行官小倉在充分意識到所面臨的艱困市場(chǎng)競爭之同時(shí)，也表示：“給我們機會(huì )證明我們的技術(shù)，你一定不會(huì )失望。”

 

支持立體視覺(jué)技術(shù)，你不是一個(gè)人在戰斗

 

日本新創(chuàng )公司ITD Lab并非唯一看好立體視覺(jué)技術(shù)的業(yè)者，還有包括汽車(chē)安全系統制造商Autoliv、Subaru/Eyesight以及Ambarella (VisLab)，也提供立體視覺(jué)解決方案。

 

市場(chǎng)研究機構The Linley Group資深分析師Mike Demler表示，來(lái)自歐洲的自動(dòng)駕駛技術(shù)開(kāi)發(fā)商AIMotive曾示范過(guò)利用立體攝像頭支持高階自動(dòng)駕駛；技術(shù)顧問(wèn)公司VSI Labs創(chuàng )辦人暨首席顧問(wèn)Phil Magney則指出，除了前面提到的那些公司：“有少數一線(xiàn)(Tier Ones)汽車(chē)電子廠(chǎng)商也仍支持立體視覺(jué)技術(shù)，就算目前沒(méi)有將該技術(shù)列在產(chǎn)品列表中，也會(huì )提供立體視覺(jué)方案的詢(xún)價(jià)(RFQ)。”

 

相較于其他立體視覺(jué)解決方案，ITD Lab首席技術(shù)官実吉敬二(Keiji Saneyoshi)強調，該公司的優(yōu)勢在于兩個(gè)方面：“我們提供更清晰的物體邊緣(object-edge)偵測，而且我們的處理速度快很多──大概是Subaru EyeSight速度的十倍。”

 

CMOS影像傳感器拍攝的影像 （來(lái)源：ITD Lab）

 

ITD Lab競爭對手之立體視覺(jué)技術(shù)拍攝的影像 （來(lái)源：ITD Lab）

 

上面的第一張圖是以CMOS影像傳感器拍攝的影像，第二張圖則是ITD Lab競爭對手的立體視覺(jué)技術(shù)所擷取的影像；実吉指出，物體之間的邊緣粗糙而且模糊，可能導致某些物體消失在背景中。下方的影像則是由ITD Lab自家立體視覺(jué)技術(shù)拍攝的，每個(gè)物體的邊緣更銳利，強化了可藉由轉向避免碰撞的能力。

 

以ITD Lab立體視覺(jué)技術(shù)拍攝的影像 （來(lái)源：ITD Lab）

 

功能齊全的SoC

 

而ITD Lab與其他計算機視覺(jué)處理器業(yè)者的最大差異化所在，是実吉堅持利用FPGA做為視覺(jué)加速器，他相信FPGA不只對該公司的立體視覺(jué)算法很理想，也能在未來(lái)用以執行CNN或DNN等人工智能神經(jīng)網(wǎng)絡(luò )：“FPGA的平行處理流水線(xiàn)是為深度學(xué)習量身打造。”

 

雖然目前ITD Lab的智能立體攝像頭(Intelligent Stereo Camera)還未提供深度學(xué)習功能，但該公司首席執行官小倉明宏(Akihiro Ogura)表示，他們計劃利用“一款低成本FPGA”添加AI功能。根據ITD Lab代理商Macnica/Fuji Electronics總經(jīng)理荒井文彥(Sachihiko Asakura)的說(shuō)法，該公司正準備導入來(lái)自第三方業(yè)者的深度學(xué)習解決方案。

 

對此VSI Labs的Magney表示：“對ADAS來(lái)說(shuō)，沒(méi)有AI功能不會(huì )是一個(gè)缺陷，因為該類(lèi)系統主要是決定性應用；不過(guò)對更多先進(jìn)應用(例如自動(dòng)駕駛)來(lái)說(shuō)，你會(huì )需要對AI技術(shù)有所著(zhù)墨，以保持與市場(chǎng)的關(guān)聯(lián)性。”

 

ITD Lab的実吉堅信，立體視覺(jué)處理是在未進(jìn)行訓練的情況下偵測一般物體的理想方案；相較之下單眼視覺(jué)可能會(huì )在遇到未經(jīng)過(guò)訓練的狀況時(shí)錯失物體偵測；“舉例來(lái)說(shuō)，Volvo的自動(dòng)駕駛技術(shù)據說(shuō)在識別馬路上的袋鼠時(shí)遭遇困難，”他表示，袋鼠的跳躍動(dòng)作會(huì )混淆單眼相機的視覺(jué)處理。

 

但The Linley Group的Demler并不贊同，他提出的疑問(wèn)是：“單眼視覺(jué)物體偵測與識別算法都已妥善經(jīng)過(guò)證實(shí)，ImageNet競賽都是以單眼拍攝影像為識別內容，這不是很有趣嗎？”他進(jìn)一步表示：“神經(jīng)網(wǎng)絡(luò )推理引擎是分類(lèi)氣，它們會(huì )計算一個(gè)物體有經(jīng)過(guò)預先訓練的概率，如我們所知道的，Uber的系統其實(shí)有偵測到牽著(zhù)自行車(chē)穿越馬路的女性路人，但軟件當機了。”

 

對于Uber自駕車(chē)在美國發(fā)生的撞人致死事故，実吉的疑問(wèn)是Mobileye視覺(jué)處理器有沒(méi)有在足夠快的時(shí)間內偵測到行人。為了證明今日的ADAS技術(shù)性能，Mobileye在來(lái)自警方提供之Uber交通事故視頻饋入上執行其軟件；英特爾資深副總裁Amnon Shashua在去年3月的一篇部落格文章中表示：“盡管條件不理想，大多數出現在實(shí)際場(chǎng)景中的高動(dòng)態(tài)范圍數據可能丟失，但在發(fā)生撞擊大約1秒之前能達成清楚的偵測。”

 

実吉也有做過(guò)一樣的工作，在Uber事故的視頻饋入上執行其軟件；根據他的說(shuō)法，ITD的智能立體攝像頭能在撞擊發(fā)生前2.23秒偵測到穿越馬路的女性行人。如下圖所示，第一欄是單眼視覺(jué)處理器擷取的影像在撞擊前1.29秒偵測到物體，第二欄是ITD的立體視覺(jué)擷取到的影像，第三欄則是警方提供的事故發(fā)生當時(shí)監視錄像。

 

以不同技術(shù)模擬偵測Uber美國的撞人致死事故 （來(lái)源：ITD Lab）

 

ITD Lab準備推出其智能立體攝像頭芯片──儲存一組用以處理視差影像數據之FPGA程序代碼的ROM芯片──以及包括光學(xué)組件在內的參考設計開(kāi)發(fā)板；該公司表示，至少將有一家Tier One廠(chǎng)商正在評估其技術(shù)，而実吉表示該方案的功耗是3瓦。

 

本文轉載自電子技術(shù)設計。

 

 

推薦閱讀：