基于Transformer的架構(gòu)在計算機視覺和自然語言處理等領(lǐng)域日益占據(jù)主導(dǎo)地位，但將其應(yīng)用于安全至關(guān)重要的汽車系統(tǒng)則需要對可靠性給予嚴格關(guān)注。

據(jù)外媒報道，慕尼黑工業(yè)大學(xué)（Technical University of Munich）的Sven Kirchner、Nils Purschke及其同事，與Chengdong Wu和Alois Knoll合作，提出了一種構(gòu)建容錯Transformer的新框架來應(yīng)對這一挑戰(zhàn)。

圖片來源：https://arxiv.org/abs/2601.18850

該研究詳細闡述了多模態(tài)基礎(chǔ)模型如何利用汽車傳感器固有的多樣性和冗余性，即使在單個組件發(fā)生故障時也能維持系統(tǒng)的運行能力。通過將來自多個編碼器的信息融合到一個共享的表示空間中，該團隊展示了一種結(jié)構(gòu)化嵌入冗余的途徑，這是彌合前沿深度學(xué)習(xí)與自動駕駛嚴格安全要求之間差距的關(guān)鍵一步，最終將實現(xiàn)可認證系統(tǒng)的開發(fā)。

該框架利用多模態(tài)基礎(chǔ)模型和結(jié)構(gòu)冗余，旨在解決在自動駕駛等安全關(guān)鍵型應(yīng)用中部署深度學(xué)習(xí)所面臨的挑戰(zhàn)。這種創(chuàng)新方法結(jié)合了獨立的、特定模態(tài)的編碼器，這些編碼器將各自的數(shù)據(jù)融合到一個共享的潛在空間中，即使某個傳感器模態(tài)發(fā)生故障，也能確保系統(tǒng)持續(xù)運行。實驗表明，該方法能夠有效地整合多種輸入模態(tài)，從而保持對場景理解的一致性和可靠性，這對于自動駕駛車輛的感知至關(guān)重要。

該概念框架旨在彌合現(xiàn)代深度學(xué)習(xí)技術(shù)與既有功能安全實踐之間的差距，并特別參考了ISO 26262標準。研究人員闡述了如何通過多模態(tài)基礎(chǔ)模型利用傳感器多樣性和冗余性來提高容錯能力，這對于自主系統(tǒng)至關(guān)重要。他們提出的架構(gòu)利用多個獨立的編碼器，每個編碼器專用于特定的輸入模態(tài)，例如RGB圖像、激光雷達點云或單目深度圖，并將這些原始輸入映射到一個公共的潛在空間。這個共享的潛在空間有助于實現(xiàn)故障運行行為，確保即使一個或多個傳感器模態(tài)出現(xiàn)性能下降或故障，系統(tǒng)也能繼續(xù)運行，盡管其性能可能會降低。

這項工作創(chuàng)新之處在于，它并非依賴傳統(tǒng)的硬件或軟件冗余，而是在表征層面嵌入冗余和多樣性。研究團隊正式定義了該系統(tǒng)：模態(tài)特定的編碼器（Ei）將輸入（Xi）映射到共享的潛在空間（Z），隨后模態(tài)無關(guān)的解碼器（Dj）將潛在表征轉(zhuǎn)換為輸出（Yj），例如語義分割或駕駛指令。

這種編碼和解碼的解耦實現(xiàn)了模塊化、信號路徑之間可驗證的獨立性以及可控的冗余，這與ISO 26262中概述的ASIL分解原則相呼應(yīng)。該架構(gòu)實現(xiàn)了固有冗余，即使在傳感器故障的情況下也能保持可接受的性能，并通過融合互補數(shù)據(jù)流來增強信息豐富度，從而提高魯棒性。

此外，研究證明，這種方法具有兩大主要安全優(yōu)勢：在傳感器發(fā)生故障時，仍能維持性能雖有所下降但仍可接受的運行狀態(tài)；以及通過整合多種信息流來提高信噪比。編碼器分支的獨立性在結(jié)構(gòu)上符合ISO 26262標準中關(guān)于避免共因故障的要求，而潛在空間融合機制則為多模態(tài)信號提供了隱式運行時仲裁。最終，這種多模態(tài)Transformer架構(gòu)在表示層面系統(tǒng)性地嵌入了容錯機制，為可認證的AI系統(tǒng)和更安全的自動駕駛技術(shù)鋪平了道路。

用于汽車安全的多模態(tài)Transformer架構(gòu)提升駕駛員安全

科學(xué)家們設(shè)計的新型多模態(tài)Transformer架構(gòu)，旨在增強汽車系統(tǒng)的容錯性和魯棒性。該研究團隊通過整合功能安全原則（特別是ISO 26262標準中概述的原則），解決了基于Transformer模型的關(guān)鍵應(yīng)用挑戰(zhàn)。他們開發(fā)了一種架構(gòu)，該架構(gòu)包含多個獨立的、特定模態(tài)的編碼器，每個編碼器將原始傳感器輸入（例如RGB圖像、激光雷達點云和單目深度圖）映射到共享的潛在空間Z ? Rd，從而支持在某個模態(tài)性能下降時仍能正常運行。這些編碼器（表示為Ei : Xi → Z）從異構(gòu)傳感器數(shù)據(jù)中提取高級特征表示，有效地在表示層面嵌入了冗余信息。

研究結(jié)果證實了將系統(tǒng)分解為獨立子系統(tǒng)的可行性，這與依賴冗余子系統(tǒng)和運行時監(jiān)控的傳統(tǒng)安全實踐相呼應(yīng)。形式上，該研究定義了模態(tài)特定的分支，記為Ei : Xi → Z，將原始輸入映射到共享的潛在空間Z ? Rd，從而促進基于注意力機制的融合和統(tǒng)一的、富含上下文信息的表示。下游任務(wù)則由與模態(tài)無關(guān)的解碼器Dj : Z → Yj處理，其中Yj表示目標輸出空間，例如語義分割圖或3D邊界框。數(shù)據(jù)表明，這種編碼、融合和解碼的顯式解耦實現(xiàn)了模塊化和信號路徑之間可驗證的獨立性。

該研究重點強調(diào)了兩項關(guān)鍵的安全優(yōu)勢：固有冗余性，即當(dāng)一個模態(tài)發(fā)生故障時，其余編碼器仍能維持性能；以及信息增強，即融合技術(shù)能夠提高信噪比并降低不確定性。測量結(jié)果證實，編碼器分支的獨立性在結(jié)構(gòu)上符合ISO 26262標準中關(guān)于冗余子系統(tǒng)避免共因故障的要求。

此外，該研究還詳細介紹了該架構(gòu)的實現(xiàn)，包括將激光雷達點云投影到相機圖像平面上以生成稀疏深度圖，隨后對其進行精細化處理并與相機畫面進行空間配準。此過程將激光雷達數(shù)據(jù)轉(zhuǎn)換為與相機畫面相同的表示域，確保對共享潛在空間的一致貢獻。測試證明，該設(shè)計具有強大的回退能力，即使在相機輸入質(zhì)量下降的情況下也能保持對場景的一致理解，并且無需更改架構(gòu)即可與現(xiàn)有的預(yù)訓(xùn)練視覺和語言模型無縫集成。