2023年注定是充滿變化與革新的一年。年初特斯拉大降價(jià)引發(fā)行業(yè)巨震，而后國內(nèi)從新勢(shì)力車企到3月份的燃油車降價(jià)潮，都在進(jìn)一步考驗(yàn)著整車成本，行業(yè)性價(jià)比比拼進(jìn)入關(guān)鍵期；與此同時(shí)，隨著奔馳基于前向雙目的Drive Pilot率先落地L3級(jí)自動(dòng)駕駛，智能駕駛加速“進(jìn)階”，高階智能駕駛的快速落地也迎來關(guān)鍵節(jié)點(diǎn)。

相關(guān)熱點(diǎn)新聞背后，是智能汽車整體的趨勢(shì)：汽車硬件成本會(huì)越來越便宜，智能軟件的價(jià)格越來越貴。

「特斯拉硬件與軟件價(jià)格趨勢(shì)對(duì)比」 圖源：鑒智機(jī)器人

在這種背景下，行業(yè)必須思考：什么方案能支持智駕持續(xù)發(fā)展，以更具性價(jià)比的方式，實(shí)現(xiàn)性能更優(yōu)、功能更可靠的智駕？

一個(gè)核心破局思路在傳感器端。行業(yè)需要配置穩(wěn)定，信息涵載完備，可以大規(guī)模量產(chǎn)的傳感器配置方案。

相比其他傳感器，視覺傳感器具有信息涵載完備、硬件成本低的固有優(yōu)勢(shì)，但其信息為間接表示，對(duì)算法和算力的挖掘要求極高，這既是行業(yè)難點(diǎn)、也是技術(shù)壁壘。

2023年3月23-24日，在2023光谷人工智能產(chǎn)業(yè)生態(tài)大會(huì)——智能網(wǎng)聯(lián)汽車專場(chǎng)，鑒智機(jī)器人聯(lián)合創(chuàng)始人兼CTO都大龍表示，基于這一洞察，鑒智機(jī)器人自成立伊始，以終為始，通過基于AI算法與視覺傳感器的軟硬協(xié)同優(yōu)化，構(gòu)建以視覺3D理解為核心的智能駕駛系統(tǒng)“雙目立體視覺智能駕駛系統(tǒng)”，為車企提供高性能、高性價(jià)比、極具差異性的系統(tǒng)方案，滿足車企在智能化下半場(chǎng)的綜合訴求。

都大龍 | 鑒智機(jī)器人聯(lián)合創(chuàng)始人兼CTO

以下是演講內(nèi)容整理：

為什么用“雙目”研發(fā)智駕系統(tǒng)？

視覺路線在信息涵載方面具有顯著優(yōu)勢(shì)，視覺傳感器作為核心感知部件也已成為業(yè)界共識(shí)。不過，一直以來業(yè)內(nèi)都有著單目、雙目等路線的比較和探討。

圖源：鑒智機(jī)器人

對(duì)比單目，雙目立體視覺傳感是生物學(xué)億年進(jìn)化并最終與現(xiàn)實(shí)世界自洽的結(jié)果。左/右目投影成像與視差之間構(gòu)建了一種自監(jiān)督的約束模式，使之能與物理世界的三維信息關(guān)聯(lián)，并持續(xù)自適應(yīng)學(xué)習(xí)，從而賦能機(jī)器人與自動(dòng)駕駛在現(xiàn)實(shí)世界中自如活動(dòng)的能力。雙目立體視覺對(duì)比單目還有以下重大優(yōu)勢(shì)：

雙目立體視覺對(duì)現(xiàn)實(shí)世界的感知，具有物理學(xué)定律支持的真3D信息提取能力。

人和動(dòng)物之所以能產(chǎn)生立體的感知，本質(zhì)上是因?yàn)樽?右目或不同時(shí)刻對(duì)同一物體看到的圖像有所差異，這種差異以視差進(jìn)行描述，而視差基于三角測(cè)量原理即可得到深度。由于視差獲取是通過左/右目圖像的差異計(jì)算的，僅與圖像像素級(jí)的相似度有關(guān)，并不依賴高層語義信息，因此可以直接解決當(dāng)前自動(dòng)駕駛“先識(shí)別再檢測(cè)”（非標(biāo)障礙物檢測(cè)）的問題，可以處理非標(biāo)物體和路況。與傳統(tǒng)基于啟發(fā)式規(guī)則計(jì)算左/右目圖像匹配以獲取視差的方式不同，鑒智機(jī)器人采用基于學(xué)習(xí)的AI對(duì)左/右目以及時(shí)序圖像進(jìn)行時(shí)空匹配，不僅大大提升了3D/4D感知的性能，而且能夠以數(shù)據(jù)驅(qū)動(dòng)的方式不斷學(xué)習(xí)進(jìn)化。

「鑒智機(jī)器人雙目視覺雷達(dá)輸出的RGBD深度點(diǎn)云圖」圖源：鑒智機(jī)器人

數(shù)據(jù)閉環(huán)是自動(dòng)駕駛的發(fā)動(dòng)機(jī)，雙目立體視覺可以大大提升自動(dòng)駕駛3D/4D數(shù)據(jù)閉環(huán)的性能和效率。

為了解決自動(dòng)駕駛多傳感器后融合后處理所面臨的語義理解天花板問題，即通過啟發(fā)式規(guī)則對(duì)不同傳感器的感知結(jié)果進(jìn)行融合，難以解決類似大車截?cái)嗟葐栴}，業(yè)內(nèi)提出了基于學(xué)習(xí)的端到端bev 3D/4D感知方案，將啟發(fā)式規(guī)則用AI學(xué)習(xí)的方法替代，從而大大提升了自動(dòng)駕駛語義理解的天花板。但同時(shí)也對(duì)數(shù)據(jù)閉環(huán)真值系統(tǒng)提出了更高的要求，即3D/4D感知系統(tǒng)所需要的真值獲取成本往往是非常高的，距離、速度、光流、場(chǎng)景流等信息人工難以標(biāo)注。依賴激光雷達(dá)進(jìn)行3D/4D真值獲取的方式不僅與視覺難以自洽，而且難以解決數(shù)采與量產(chǎn)的鴻溝（量產(chǎn)車型絕大多數(shù)并不配置激光雷達(dá)）。雙目立體視覺由于具備更精準(zhǔn)、更穩(wěn)定、泛化能力更強(qiáng)的稠密3D描述信息，可以以更低的門檻、更高的效率構(gòu)建更高精度的3D/4D重建，從而得以構(gòu)建更高效能和效率的3D/4D數(shù)據(jù)閉環(huán)系統(tǒng)。

「鑒智機(jī)器人雙目智駕系統(tǒng)輸出的4D重建效果」圖源：鑒智機(jī)器人

雙目智駕系統(tǒng)有何技術(shù)門檻？

當(dāng)前，雙目立體視覺已從最初的“小眾路線”走向大眾：2021年起前裝搭載車型便不斷增加，從多為豪華品牌車型到如今成為越來越多自主品牌新車的“標(biāo)配”：諸如吉利領(lǐng)克009、北汽極狐阿爾法S、五菱Kiwi等車型，均選擇雙目立體視覺作為前向主傳感器。

鑒智機(jī)器人通過雙目傳感器和智能駕駛算法的軟硬協(xié)同優(yōu)化，已經(jīng)顯著提升了智能駕駛的智能程度、安全性、舒適性，可以提供極具差異性的智能駕駛功能。與之相應(yīng)的是，雙目智駕系統(tǒng)的實(shí)現(xiàn)從硬件到算法再到量產(chǎn)都有著極高的技術(shù)門檻：

硬件門檻：車載雙目相機(jī)需要在整車10年30萬公里的生命周期內(nèi)維持高穩(wěn)定性，需要光學(xué)部件、結(jié)構(gòu)及材料、生產(chǎn)工藝、圖像做全棧軟硬件協(xié)同優(yōu)化；

性能門檻+算法門檻：在滿足車載可布置空間尺寸限制下，通過超分辨率視差計(jì)算方案實(shí)現(xiàn)百米外的車輛、行人、以及非標(biāo)障礙物的高精度測(cè)距；高幀率、高精度、稠密深度估計(jì)，在成本可控的嵌入式計(jì)算平臺(tái)實(shí)現(xiàn)產(chǎn)品化；利用AI學(xué)習(xí)范式解決弱紋理、重復(fù)紋理場(chǎng)景視差匹配精度的問題，同時(shí)基于數(shù)據(jù)驅(qū)動(dòng)不斷提升時(shí)空層面的視差精度；

量產(chǎn)門檻：產(chǎn)線標(biāo)定方案需要結(jié)合相機(jī)硬件特性做全棧自研，生產(chǎn)節(jié)拍可根據(jù)整車生產(chǎn)節(jié)拍定制；在線自標(biāo)定在無真值參考的前提下，能夠?qū)δ＝M多自由度的偏差進(jìn)行校準(zhǔn)，保證點(diǎn)云數(shù)量和精度符合感知的性能要求。

圖源：鑒智機(jī)器人

鑒智機(jī)器人在AI算法、視覺傳感器、異構(gòu)計(jì)算等方向都擁有領(lǐng)先的技術(shù)積累和實(shí)踐經(jīng)驗(yàn)，已經(jīng)在雙目智駕系統(tǒng)方面建立起了軟硬結(jié)合的技術(shù)壁壘。

雙目智駕系統(tǒng)差異化優(yōu)勢(shì)詳解

傳統(tǒng)的雙目立體匹配算法針對(duì)弱紋理、反光等區(qū)域效果比較差，對(duì)物體語義信息利用較少，算法適用范圍具有局限性，效果上限明顯。鑒智機(jī)器人通過貫穿傳感器、AI算法的3D視覺理解路線，構(gòu)建眼腦協(xié)同新范式，打造基于AI的雙目立體視覺產(chǎn)品，提供高階智駕前視感知所需的稠密、實(shí)時(shí)、同步的3D描述信息。

以基于AI的雙目立體視覺傳感器為核心，鑒智機(jī)器人雙目智駕系統(tǒng)可以帶來以下優(yōu)勢(shì)：

【性能優(yōu)勢(shì)】高性能上限：基于雙目立體視覺的3D感知，實(shí)現(xiàn)真正的“事無巨細(xì)”3D感知服務(wù)于智能駕駛

目標(biāo)感知優(yōu)勢(shì)：通過雙目深度估計(jì)提供的3D信息降低了視覺感知后處理系統(tǒng)復(fù)雜度，得到更精確的3D視覺結(jié)果；

針對(duì)低紋理非標(biāo)物體、非訓(xùn)練集目標(biāo)、進(jìn)出隧道場(chǎng)景和單目立體盲（車輛或地面印刷物易被檢測(cè)為交通參與者或設(shè)施）等場(chǎng)景，通過雙目深度估計(jì)能夠獲取精確的深度信息，可以更好地解決長(zhǎng)尾問題。

道路結(jié)構(gòu)感知優(yōu)勢(shì)：同樣地，雙目的深度信息可以更好地得到道路拓?fù)浼翱尚旭倕^(qū)域，對(duì)于非結(jié)構(gòu)化道路路面分隔、大曲率彎道、道路拓?fù)?、坡道?chǎng)景的識(shí)別更準(zhǔn)確；同時(shí)，稠密的3D描述信息對(duì)于路面凹凸場(chǎng)景的高程檢測(cè)相對(duì)比稀疏激光雷達(dá)點(diǎn)云檢測(cè)性能更佳。

在線建圖精度優(yōu)勢(shì)：雙目深度估計(jì)可以增強(qiáng)在線局部建圖中特征點(diǎn)的準(zhǔn)確深度信息，提升在線建圖的精度。同時(shí)，由于雙目立體視覺可以對(duì)每一幀圖片進(jìn)行三角化，能夠更快地進(jìn)行地圖的初始化和更新，從而具有更好的場(chǎng)景泛化性，可以實(shí)現(xiàn)效果更佳的記憶行車及記憶泊車功能。

圖源：鑒智機(jī)器人

【成本優(yōu)勢(shì)】極致性價(jià)比：大幅降低整車智能化成本，助力車企客戶實(shí)現(xiàn)競(jìng)爭(zhēng)優(yōu)勢(shì)

傳感器本身的低成本：以雙目立體視覺產(chǎn)品為主的傳感器配置本身成本低，還可以減少傳感器數(shù)量，有效降低整車成本，相較于激光雷達(dá)等方案，呈現(xiàn)一個(gè)數(shù)量級(jí)的成本降低。

傳感器復(fù)用的低成本：鑒智機(jī)器人雙目立體視覺產(chǎn)品，除可滿足高階智駕功能外，更可賦能其他智能化應(yīng)用，如魔毯高程檢測(cè)、通過性檢測(cè)等，實(shí)現(xiàn)單一傳感器的多功能復(fù)用，降低整車綜合成本。

【體系化優(yōu)勢(shì)】系統(tǒng)化效率提升：大幅提升系統(tǒng)能力邊界和智駕安全性，打造面向現(xiàn)實(shí)世界3D感知的AI數(shù)據(jù)閉環(huán)

面向系統(tǒng)能力邊界拓展和安全：鑒智機(jī)器人雙目立體視覺智駕系統(tǒng)，從入門ADAS到更高階智駕功能，均能提供“越級(jí)式”的系統(tǒng)能力，滿足極致性價(jià)比的產(chǎn)品需求，實(shí)現(xiàn)“一個(gè)技術(shù)平臺(tái)，覆蓋不同定位車型平臺(tái)”。同時(shí)，其自成一套的冗余感知能力和差異化的3D性能，能更好地從安全角度為自動(dòng)駕駛場(chǎng)景擴(kuò)展和等級(jí)的提升奠定扎實(shí)的基礎(chǔ)。

面向3D感知的AI數(shù)據(jù)閉環(huán)：具備稠密的視覺3D描述信息，雙目立體視覺成為天然的3D數(shù)據(jù)開墾機(jī)器，可面向大規(guī)模的量產(chǎn)交付實(shí)現(xiàn)極具規(guī)?；?yīng)的視覺3D數(shù)據(jù)閉環(huán)。相較于傳統(tǒng)圍繞LiDAR建立的數(shù)據(jù)體系，鑒智機(jī)器人雙目立體視覺產(chǎn)品助力實(shí)現(xiàn)端到端AI數(shù)據(jù)閉環(huán)，可數(shù)量級(jí)提升數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)閉環(huán)迭代效率。

雙目智駕系統(tǒng)能實(shí)現(xiàn)哪些功能？

鑒智機(jī)器人雙目智駕系統(tǒng)為城市行車提供全天時(shí)、全天候、全類目的主動(dòng)安全，功能包括主動(dòng)安全系統(tǒng)、行車功能和雙目智駕特色功能三大方面：

主動(dòng)安全系統(tǒng)：滿足Euro-NCAP 2023 要求實(shí)現(xiàn)五星標(biāo)準(zhǔn)的主動(dòng)安全功能之外，同時(shí)支持增強(qiáng)型安全功能，包括ELKS（緊急車道保持）、AES (緊急自動(dòng)轉(zhuǎn)向)，ESS (緊急安全停車策略)，低速近距離AEB等，以提供全方位的主動(dòng)安全保障能力；

行車功能：TSR/TLR（交通標(biāo)識(shí)/燈識(shí)別及響應(yīng)）、Pilot （居中巡航輔助駕駛）、NOA（ 高速領(lǐng)航輔助駕駛）、DTLC（駕駛員撥桿變道）、ALC（自主變道）、Pilot Junction Assist（路口通行輔助）等。同時(shí)該系統(tǒng)支持行車場(chǎng)景體驗(yàn)的進(jìn)一步拓展，包括后續(xù)實(shí)現(xiàn)城區(qū)領(lǐng)航輔助及低速行車輔助等。

雙目智駕特色功能：近距離加塞處理、非標(biāo)障礙物避讓、大曲率彎道居中巡航、路面高程檢測(cè)、道路拓?fù)浣Y(jié)構(gòu)構(gòu)建、可行駛區(qū)域檢測(cè)、高性能記憶行車和記憶泊車等。

這些特色功能均是基于雙目3D感知的差異化優(yōu)勢(shì)開發(fā)而得。比如近距離防加塞功能，單目cut-in控制要檢測(cè)到車輛目標(biāo)時(shí)才會(huì)啟動(dòng)，這需要車身進(jìn)入視野的部分能夠支持車輛被識(shí)別到。而雙目智駕系統(tǒng)直接利用雙目3D信息，在車頭剛剛探入時(shí)就能夠檢測(cè)到非標(biāo)障礙物的探入，從而更加及時(shí)有效的啟動(dòng)cut-in控制。

再如非標(biāo)障礙物繞行功能，一般而言，車禍、建筑工地等場(chǎng)景沒有清晰的定義，是非標(biāo)準(zhǔn)化場(chǎng)景，單目智駕系統(tǒng)很難做出準(zhǔn)確判斷，而雙目智駕系統(tǒng)可以檢測(cè)出非常準(zhǔn)確的可行駛區(qū)域?qū)崿F(xiàn)繞行，大大提升這些非標(biāo)場(chǎng)景的處理體驗(yàn)。

「雙目智駕的特色場(chǎng)景功能示意」圖源：鑒智機(jī)器人

隨著用車場(chǎng)景的多樣化，面向駕乘舒適性及底盤智能化的需求也在不斷增加，雙目智駕系統(tǒng)在魔毯懸架、駕駛模式智能調(diào)節(jié)、窄道可通過性檢測(cè)等方面的表現(xiàn)同樣優(yōu)異。例如，通過雙目預(yù)瞄可以精確感知左/右車輪區(qū)域的路面凹凸高度信息，配合懸架系統(tǒng)提前調(diào)節(jié)相關(guān)參數(shù)，提升駕乘舒適感；再如利用窄道可通過性檢測(cè)，通過檢測(cè)可行駛區(qū)域?qū)挾?，并結(jié)合自車寬度判斷本車是否可通過，從而提高通過安全性。

「雙目智駕面向駕乘舒適性及底盤智能化的應(yīng)用」圖源：鑒智機(jī)器人

鑒智機(jī)器人成立以來，已獲取包括全棧自動(dòng)駕駛方案和雙目立體視覺產(chǎn)品在內(nèi)的多個(gè)頭部主機(jī)廠定點(diǎn)項(xiàng)目，目前已涵蓋8個(gè)車型，其中多個(gè)車型已經(jīng)完成交付，交付總量超25萬臺(tái)。鑒智機(jī)器人所推出的雙目智駕系統(tǒng)，兼具差異化和性價(jià)比優(yōu)勢(shì)，為當(dāng)前自動(dòng)駕駛所面臨的問題提供了更加本質(zhì)和創(chuàng)新的解決思路。

4月18日-27日，鑒智機(jī)器人將攜國內(nèi)首個(gè)基于AI的雙目立體視覺智能駕駛系統(tǒng)亮相第二十屆上海國際汽車工業(yè)展覽會(huì)，歡迎參觀垂詢！

上海車展，2.2H館2BF020B展位，鑒智機(jī)器人等您赴約！

（以上內(nèi)容來自鑒智機(jī)器人聯(lián)合創(chuàng)始人兼CTO都大龍于2023年3月23-24日在2023光谷人工智能產(chǎn)業(yè)生態(tài)大會(huì)——智能網(wǎng)聯(lián)汽車專場(chǎng)發(fā)表的《以視覺3D理解為核心的新一代自動(dòng)駕駛系統(tǒng)》主題演講。）