論文標題:
PARA-Drive: Parallelized Architecture for Real-time Autonomous Driving
論文作者:
Xinshuo Weng, Boris Ivanovic, Yan Wang, Yue Wang, Marco Pavone
導讀:
本文系統分析了自動駕駛高級架構的設計空間,提出了關于模塊必要性、排列關系和信息流的見解。這些見解推動了新型全并行自動駕駛架構PARA-Drive的開發,該架構在性能和推理速度上均達到行業領先水平。??【深藍AI】編譯
1. 摘要
最近很多研究提出了由可區分模塊組成的端到端自動駕駛汽車(AV)架構,實現了最先進的駕駛性能。與傳統的感知-預測-規劃架構相比,端到端架構更具有優勢(例如,消除了組件之間的信息瓶頸,減輕了模塊集成的挑戰),但是端到端架構仍然使用傳統架構的模塊和任務組合。然而,迄今為止還沒有研究系統地分析過這些模塊的必要性或它們的連接關系、排列順序和內部表示對整體駕駛系統性能的影響。
針對上述空白,本研究對端到端自動駕駛汽車架構的設計空間進行了全面探索。作者的研究成果最形成了PARA-Drive1 :一種完全并行的端到端自動駕駛架構。PARA-Drive 不僅在感知、預測和規劃方面達到了最先進的性能,而且在不影響可解釋性或安全性的前提下,將運行速度顯著提高了近3倍。
圖1|端到端自動駕駛汽車(AV)模塊堆棧設計示意圖??【深藍AI】編譯
2. 引言
由于需要集成檢測、跟蹤、預測、定位、制圖和規劃等多個復雜模塊,開發全棧式自動駕駛汽車(AV)系統面臨著巨大挑戰。為應對這些挑戰,開發端到端模塊化自動駕駛汽車系統的需求日漸顯著,如UniAD、VAD和OccNet。這些系統之所以廣受歡迎,是因為它們成功地集成了各種模塊和任務,并取得了不錯的運動規劃性能。此外,它們還通過端到端方式優化上游感知和預測模塊,提高了安全性和可解釋性。
雖然這些端到端自動駕駛汽車(AV)模塊堆棧取得了成功,但它們的架構設計存在顯著差異(例如,結合占據網絡與不結合占據網絡、語義 BEV 與矢量化地圖、使用查詢或輸出,見圖1),目前仍不清楚哪種設計是最佳的。除了最近的幾種架構外,端到端自動駕駛模塊化堆棧的巨大設計空間在很大程度上仍未得到充分探索,這主要是由于可能的任務、相關信息表示和模塊間連接的多樣性。在本文中,作者沿著「模塊必要性」「排列順序」和「信息流」三個關鍵軸線對這一設計空間進行了系統探索。
為了有效解決這一復雜問題,本文建立了一個多功能框架,能夠靈活操作端到端自動駕駛堆棧的計算圖,包括啟用或停用模塊、修改模塊間連接關系以及訪問不同層上游模塊的輸出。有了這個框架,作者發現了幾個有趣的現象:
通過順序、混合甚至并行設計,可以獲得最先進的性能;
只需將鳥瞰圖(BEV)特征作為規劃輸入(配合適當的輔助任務和高級命令),就能實現最先進的規劃性能;
并且按順序關系放置時冗余的模塊,在并行放置情況下實際可能是互補的關系。
作者進一步利用上述見解開發完善了PARA-Drive,即一種全棧并行化自動駕駛架構,其中包含用于聯合訓練BEV特征的各種模塊。通過在nuScenes數據集上進行全面實驗,作者發現PARA-Drive在規劃性能方面明顯優于之前的研究成果(例如,L2錯誤減少了28.8%,碰撞率降低了43.3%),在地圖合規率以及本體車輛轉彎或變道的挑戰性場景中也有持續改善。
圖2|PARA-Drive與最新的端到端模塊化自動駕駛架構之間的視覺比較示意圖??【深藍AI】編譯
3. 相關工作
3.1 端到端運動規劃
傳統的自動駕駛系統開發主要側重于訓練獨立的模塊,并將它們整合成一個完整的自動駕駛系統。然而,這種方法在部署過程中面臨著巨大的集成挑戰。信息瓶頸問題尤為常見,在模塊間通信過程中,閾值和過濾可能導致信息丟失。此外,模塊之間的單獨訓練會造成學習目標不一致,從而導致上游任務無法為下游感知學習提供最佳定制特征。
為了克服這些挑戰,端到端規劃方法也有了許多針對性的進展,這些方法借鑒以前傳統工作的訓練和部署經驗。最近的端到端規劃方法極具吸引力,因為它們提供了高效的運行時間,并消除了集成挑戰和信息瓶頸。最近在端到端規劃上的工作取得發展,具體是提升了端到端方法在閉環駕駛中的成功率。例如,通過提取特權專家的信息,改進了端到端駕駛,抑或是引入以高級駕駛指令為條件的規劃網絡。除了圖像輸入,Transfuser還擴展了激光雷達數據輸入,而 TCP則通過同時考慮軌跡和行動來改進規劃的輸出表示。
盡管取得了許多進展,端到端規劃方法在實際部署的可解釋性、可驗證性和安全性方面仍面臨巨大挑戰。因此,人們越來越關注設計端到端但又是模塊化的自動駕駛架構,旨在將傳統方法和端到端方法的優勢結合起來。
3.2 端到端模塊化架構
端到端模塊化架構是將模塊化設計與端到端訓練相結合,從而區別于傳統的端到端規劃方法。因此,它在保持安全性和可解釋性的同時,還優化了下游規劃的所有模塊。
設計端到端模塊化堆棧極具挑戰,因為這些架構中模塊的組成和交互會導致不同的設計變化。例如,針對順序設計,P3和ST-P3利用語義占據預測的輸出進行下游規劃。也有算法沒有使用監督學習來學習占據特征,而是開發了自監督占據預測來預測空閑空間,然后針對路徑規劃結果進行優化。混合設計在后續模塊中直接利用BEV特征,將模塊間的順序連接和并行連接結合起來。這一趨勢在之前的許多研究中得到了進一步體現,這些研究通常采用并行頭進行在線映射。
為了展示這些設計變化,本文在圖2中將最新的先進架構與作者提出的PARADrive進行了比較。這些架構在模塊組成、輸出表示和流向規劃模塊的信息流方面各不相同。例如,UniAD和OccNet將預測占據圖納入規劃,VAD則沒有。UniAD和OccNet將在線見圖視為密集預測任務,預測地圖元素的每像素或每象素語義,而VAD則選擇矢量化地圖表示法。此外,UniAD和VAD采用多頭架構,規劃頭訪問感知頭的中間輸出,如潛在查詢特征,而OccNet則依賴感知頭的最終輸出進行規劃。
作者的工作側重于堆棧級設計,系統地探索了端到端自動駕駛設計空間的關鍵維度,相關成果或能有助于端到端模塊化設計的未來發展。此外,與現有架構不同,作者的PARA-Drive是專為并行操作而設計的,只在需要時才啟動并行頭,從而大大提高了效率。
3.3 多任務學習(MTL)
MTL并不是自動駕駛領域的全新課題,而且已經有了長足的發展。除了側重于感知和預測的MTL,MTL還被應用于端到端自動駕駛規劃,最新的方法通常基于BEV特征來完成各種輔助任務。例如,有通過并行檢測和預測物體的邊界框來學習規劃的成本。此外,Transfuser的擴展將建圖、深度預測和物體檢測頭并行納入運動規劃。不過,這些研究都沒有采用占據預測任務,而作者認為這在并行化自動駕駛架構中至關重要。相比之下,NEAT和ReasonNet在MTL風格的自動駕駛架構中采用了BEV占據預測,但并不預測實例中的物體運動。此外,ReasonNet無法預測語義地圖,只能依靠從傳感器輸入中隱含學習地圖信息。
與MTL領域的先前研究不同,UniAD等混合設計已經證明了將實例運動預測與場景級占據預測相結合以提高端到端駕駛性能的有效性。作者的研究結果證實了這一論點,即除了在混合設計中觀察到的增量改進外,要想在純并行化設計中實現最先進的規劃性能,還必須采用實例運動預測和場景級占據預測以及在線建圖。基于這些見解,作者提出了PARA-Drive,這是首個并行化自動駕駛架構,其性能和實時效率均優于采用混合設計的自動駕駛架構。
4. 端到端自動駕駛堆棧的設計空間
4.1 關鍵維度
為了系統地探索設計空間,本文首先確定并分析了設計空間的關鍵維度。
1)模塊的必要性:
在端到端模塊化堆棧中,哪些模塊是必不可少的?對于給定的任務,不同的模塊在設計時可能會有不同的表現形式(例如,占據預測與軌跡預測)。本文需要考慮的是,盡管可能存在冗余,但同時包含這兩種模塊是否比只選擇其中一種模塊更有利。
2)模塊排列順序:
模塊選定后,應如何在堆棧中排列?這包括各種設計配置方面的考慮,如順序排列和并行排列設計,或包含順序和并行排列的混合設計。
3)信息流:
當一個模塊依賴于前一個模塊的輸出時,算法應該只傳遞維度相對較低的最終緊湊輸出(如邊界框或 BEV 分割圖),還是傳遞維度較高的中間特征(如標記查詢)?兩者的傳遞是否有益?
對設計空間的探索面臨著一個重大挑戰:多個維度的組合可能會產生復雜性,而每個維度單獨看來都是可以管理的。這種復雜性導致設計空間包含了廣泛的配置,從直接輸入傳感器數據進行運動規劃的非模塊化自動駕駛堆棧,到各種高度模塊化的端到端方法。
表1|規劃性能分析??【深藍AI】編譯
4.2 標準化評估方法
◆數據集和指標
根據此前在端到端自動駕駛領域的研究成果,本文利用nuScenes駕駛數據集,對端到端模塊化自動駕駛架構的各種變體進行實驗,以探索設計空間的差異。由于本文的重點是架構設計對整體駕駛性能的影響,因此在大部分實驗對比中,本文使用指標來評估規劃性能。尤其需要注意的是,作者沿用先前的工作方法,以2Hz的頻率計算3秒范圍內地面實況(GT)與本體車輛預測軌跡之間的L2誤差,并以鳥瞰視角計算與周圍動態代理的碰撞率。此外,作者還將1秒、2秒和3秒時間范圍內的平均誤差定義為 A v e 1 , 2 , 3 s Ave_{1,2,3s} Ave1,2,3s?(在之前的工作中使用),并將整個時間范圍內的平均誤差定義為 A v e a l l Ave_{all} Aveall?。
◆評估協議
要嚴格探索設計空間,必須確保評估的穩健性和一致性。然而,由于nuScenes缺乏標準化的規劃基準,之前的工作都是單獨制定評估協議,從而帶來了不一致性。為了緩解這一問題,本文沒有直接比較之前工作中的結果和數字,而是對現有的評估方法進行了全面分析,主要是UniAD 、VAD和AD-MLP中使用的方法。作者的分析揭示了這些實現方法中明顯的不一致之處,包括:
1)時間維度上的平均值:以3秒視距下的L2誤差為例,UniAD通過對驗證集中的 N N N個樣本進行平均計算得出 L 2 3 s L_2^{3s} L23s?,而VAD和AD-MLP則通過對樣本和時間間隔進行平均計算:
L 2 3 s = 1 N ∑ N 1 6 ∑ t ∈ 0.5 s , 1 s , 1.5 s , 2 s , 2.5 s , 3 s L 2 t L_2^{3s}= \frac{1}{N}{\sum^{N}}\frac{1}{6} \sum_{t \in {0.5s, 1s, 1.5s, 2s, 2.5s, 3s}} L_{2}^{t} L23s?=N1?∑N?61?t∈0.5s,1s,1.5s,2s,2.5s,3s∑?L2t?
因此,與UniAD相比,VAD和AD-MLP的L2誤差和碰撞率明顯更小。
2)過濾代理:一方面,與VAD和AD-MLP相比,UniAD從全局真值占據圖中排除了行人,從而降低了碰撞率。另一方面,UniAD在每個幀中都包含了不可見的物體,這使得評估更具挑戰性。
3)幀屏蔽策略:VAD和AD-MLP排除數據序列中任何一個無效幀的數據片段,而UniAD則包括這些片段,并為其中的無效幀分配零錯誤。將這些片段與指定為零錯誤的幀一起包含,可以降低評估中的整體錯誤率。
4)首幀的隨機噪音: 最先進的端到端自動駕駛堆棧在輸入中使用時間信息,因此,由于輸入特征和本體車輛狀態的初始化為零,首幀的性能較差。AD-MLP通過在其評估協議中排除前兩幀來解決這一問題,而UniAD和VAD卻沒有這樣做,從而導致UniAD和VAD的評估誤差增大。
乍看之下,上述評估中不一致之處似乎并不嚴重,但本文在表1中的實證分析表明,每種不一致之處都會嚴重影響對現有技術的比較分析。考慮到nuScenes數據集的結構,這一點尤為重要,該數據集由相對較短的數據片段組成–通常每個片段只有40幀。即使排除每個數據片段中的幾個幀,也會導致5%到10%的性能變化。因此,建立標準化的評估方法對于確保可信的比較至關重要。
圖3|本體車輛邊界框和BEV離散化引發的碰撞示意圖??【深藍AI】編譯
◆缺失的部分
除了不一致的地方,真值還在圖3中發現了現有評估方法中的幾個問題,這些問題也會嚴重扭曲分析結果:
1)軸對齊的本體車輛表示法:由于忽略了本體車輛在邊界框中的方向,現有的碰撞率計算評估可能會產生人為的假陽性和假陰性;
2)BEV離散化:普遍使用的200 × 200分辨率網格(每個網格單元0.5米)在模型性能和訓練效率之間取得了良好的平衡。然而,這種低分辨率會在評估中產生人為的假陽性碰撞,即使是全局真值軌跡也是如此。
3)地圖合規性指標是對L2錯誤和碰撞率的重要補充。作者的研究結果表明,省略在線建圖網絡會降低定性結果(如偏離車道或道路行駛),但不一定會影響L2和碰撞率。
4)目標場景評估:鑒于大多數駕駛記錄都涉及“直行”,即使是沒有感知的簡單模型也能在L2指標中表現出色。因此,在涉及轉彎和變道等復雜場景的數據集子集中進行評估至關重要。
圖5|PARA-Drive架構圖??【深藍AI】編譯
具體來說,本文的地圖合規性指標計算的是偏離人行道率和偏離車道率,后者衡量的是每個預測的航點是否與相應的全局真值軌跡在同一條車道上。為了進行有針對性的場景評估,本文排除了帶有“保持前進”指令的幀,因此在nuScenes val集上總共有686個具有挑戰性的關鍵幀。
表2|標準化評估方法如何改進現有的評估規程??【深藍AI】編譯
為了衡量每項評估變化對規劃任務性能的影響,表2總結了相關實驗結果。首先,從第一區塊的碰撞率表現來看,作者發現即使是全局真值軌跡也有很高的碰撞率,例如在UniAD評估協議中碰撞率為0.38%,這削弱了評估的魯棒性。在改用定向盒和分辨率更高的BEV網格后,作者將GT軌跡的誤報碰撞率降至0%。在將行人納入碰撞率評估的考慮范圍后,作者得出了標準化的評估方法。一個有趣的發現是,盡管AD-MLP在val數據集中的L2性能很強,但在目標場景中的碰撞率卻明顯較差,而且在地圖合規錯誤率方面也相對較弱。這很直觀,因為AD-MLP只依賴于本體車輛的狀態和過去的軌跡,而無法感知周圍的物體和地圖元素,這可能會導致嚴重的安全問題。這說明有必要在標準化評估中納入有針對性的場景評估和地圖合規率。
結合這些發現可以看出,作者的標準化評估有效地解決了現有評估方法之間的不一致性,解決了碰撞率的誤報問題,還納入了地圖合規率和有針對性的場景評估,為 nuScenes提供了一個更強大的評估框架。除非另有說明,作者將以標準化評估為基礎進行后續實驗。本文的標準化評估方法實施方案將與作者的方法一起發布,以幫助未來在此方向上的研究。
表3|系統內部模塊連接性消融實驗分析??【深藍AI】編譯
4.3 探索架構設計空間
作者基于 UniAD構建框架出于兩個目的:
1)UniAD包含了最廣泛的任務和模塊;
2)UniAD一開始就具有很強的規劃性能。
為了確定模塊位置關系和信息流,需要確定哪些模塊間的依賴關系是有用的。為此,本文首先對UniAD中的所有模塊間連接進行了系統消融分析,并在表3中對結果進行了總結。
圖4|系統內部模塊連接性關系??【深藍AI】編譯
◆模塊放置
鑒于現有的四個模塊間連接(即圖4中邊(1)(2)(3)(4))可以觀察到,刪除圖4中的邊(1)(2)實際上可以帶來更穩健的性能,如表3中的第1-4行所示。對于(1),作者發現這是因為UniAD使用了第一階段建圖頭的車道查詢特征,這些特征很嘈雜,因此刪除車道和運動查詢之間的交互可以提高性能。對于邊(2),這是因為測試時間優化(TTO)不在訓練過程中,它往往會生成偏離人類駕駛日志的軌跡。在本文的補充材料中,作者展示了可視化效果,顯示TTO通常會導致多個物體附近的鋸齒狀軌跡,從而增加L2誤差并且不能保證避免碰撞。消除(1)(2)后,作者建立了一個改進的基線,如圖4(左)所示,實現了更好的規劃性能。
有趣的是,根據改進后的基線,作者發現在表3的其余部分中,移除和添加其他模塊間連接并不能提高規劃性能。事實上,添加帶有查詢特征的邊(6)和帶有緊湊語義BEV地圖的邊(7)會降低性能。此外,對于邊 (1),作者嘗試使用過濾后來自最后階段transformer的噪音較小的查詢。雖然與使用噪聲查詢特征的情況相比,作者取得了更好的性能,但與改進后的基線相比,添加這條邊的性能仍然略差。由此可以發現,作者可以消除所有這些邊緣,同時保持與改進基線相同的性能,并減少模塊依賴性。
表4|系統內部模塊信息流消融實驗分析??【深藍AI】編譯
◆信息流
在表3中,作者還比較了針對同一條邊向規劃模塊傳遞不同信息表示法的規劃性能。例如,在邊(5)的第8-9行中,作者將表示道路和車道幾何信息的緊湊型BEV語義地圖或地圖元素的潛在查詢傳遞給下游規劃。同樣,在邊(6)的第10-11行中,作者比較了在規劃中使用緊湊型BEV占據圖或對象查詢的情況。有趣的是,盡管傳遞緊湊型BEV輸出比傳遞高維查詢特征的性能略高,但本文發現,由于BEV特征圖中的信息已通過邊(0)流入規劃模塊,因此潛在的冗余信息使得緊湊型輸出或每模塊潛在查詢都沒有必要傳遞。
為了進一步驗證下游規劃中應使用何種表示法的信息流,作者在改進基線的基礎上,取消使用BEV特征圖來規劃邊(0),并比較表4中添加邊(4)(5)(6)的性能。對比第1-2行,作者再次確認,移除BEV特征會導致端到端規劃性能顯著下降。在隨后的實驗中,可以觀察到,盡管上游模塊與規劃之間存在依賴關系,但與僅將緊湊的輸出表示作為規劃的輸入相比,傳遞高維信息的潛在查詢往往能帶來更強的性能提升。
表5|系統內部關鍵模塊消融實驗分析??【深藍AI】編譯
◆模塊的必要性
作者在表5中總結了結果:由于上文從基線中移除了邊(4),因此規劃模塊只使用BEV特征圖,而不影響其他上游模塊。在這種情況下,作者發現移除任何輔助任務都會導致規劃任務的性能大幅下降。特別是,盡管移除在線映射任務不會導致更高的L2誤差和碰撞率,但地圖合規性誤差卻增加了很多。這些實驗證明,有必要使用所有這些模塊對 BEV 特征進行適當的聯合訓練,以實現并行設計。有趣的是,作者還發現占據預測任務和運動預測任務對于順序設計或混合設計來說確實有些多余。具體來說,如果作者在移除占據率任務的情況下,在運動預測和規劃之間添加邊(4),本文就可以通過明確傳遞上游模塊的查詢特征來恢復性能。在移除運動預測任務的情況下,本文也觀察到了類似的結果。
圖6|PARA-Drive系統架構圖??【深藍AI】編譯
5. PARA-Drive
5.1 PARA-Drive實現細節
總的來說,PARA-Drive架構是一種并行化模塊化自動駕駛堆棧,其中包含用于聯合訓練BEV特征的各種模塊。該BEV特征圖與來自本體車輛的數據(如高級指令、CAN總線、歷史軌跡)共同構成了規劃頭的唯一輸入。
具體來說,PARA-Drive包含四個模塊:在線建圖、跟蹤和運動預測、占據預測、運動規劃,這些模塊都是并行協同訓練的。受之前工作的啟發,作者為每個模塊配備了適合其任務的可學習查詢特征集。PARA-Drive將一系列攝像頭圖像作為輸入,構建當前和歷史BEV特征。通過交叉注意力,每個模塊的查詢特征與BEV特征相互作用,確保每個任務都能捕捉到相關信息。
PARA-Drive別于之前的混合設計,其顯著優勢在于規劃模塊的操作獨立性。共同訓練后,規劃頭的運行獨立于其他感知和預測模塊。這就為推理過程提供了極大的靈活性:建圖、運動和占據等模塊可以停用,或者僅在需要可解釋性、進行安全檢查或用戶顯示時以較低的幀速率運行。因此,這種設計大大提高了運動規劃模塊的運行效率,使重新規劃更加頻繁,從而增強了部署的整體安全性。
基干網絡和BEV特征。作者在內存中保留一幀歷史BEV特征,以執行交叉注意力,獲取時間信息。作者主要使用R50主干網,發現它足以獲取最先進的規劃性能。
在線建圖。作者使用Panoptic Segformer ,將建圖視為像素分割任務。具體來說,輸出是一個4通道語義BEV地圖,每個通道代表像素被歸類為以下四個類別之一的可能性:道路邊界、車道分隔線、人行橫道區域和可駕駛區域。為了優化建圖頭,作者采用了L1損失、Dice損失和GIoU損失的組合,以學習每個地圖元素的邊界框和像素掩碼。
運動預測和占據預測在概念上相似,但在輸出表示上有所不同–前者側重于稀疏的對象級輸出,而后者則生成場景級的概率BEV占據圖。根據之前的研究成果,除了與BEV特征交叉注意力外,作者還在查詢特征之間采用了自注意力,以促進代理之間的互動。對于這兩個模塊,作者使用匈牙利算法將查詢特征與全局真值匹配,并應用負對數似然、Dice和二元交叉熵損失進行訓練。借鑒之前工作,運動預測模塊也使用跟蹤物體的邊界框及其潛在特征作為輸入,因此作者將跟蹤預測視為一個整體模塊,并在圖5中省略了單獨的跟蹤頭,以簡化說明。
運動規劃。除了可選擇使用CAN總線數據外,作者的運動規劃模塊還采用了高級指令和可學習查詢功能。高級指令選擇與相應駕駛行為模式相對應的特征嵌入,然后與規劃查詢進行串聯。在與BEV特征圖交叉注意力操作后,多層感知器(MLP)被用來回歸規劃的未來軌跡。
表6|PARA-Drive與其他方法對比結果??【深藍AI】編譯
5.2 實驗分析結果
表6總結了近期所有先進方法的性能。根據作者的標準化評估指標,PARA-Drive在所有指標上都達到了最優水平。同時,作者的結果重新確立了更加公平比較的基準。根據新的基準,雖然觀察到VAD在碰撞和L2誤差的估值集上仍然優于UniAD,但UniAD似乎在建圖方面表現更好,實現了更低的建圖合規性錯誤率,并在更復雜場景的目標評估中實現了更低的誤差。
使用本體車輛狀態。先前的研究表明,使用CAN總線(速度、加速度、角速度等)和歷史軌跡可以改進規劃。作者在PARA-Drive中也觀察到了這一點,尤其是在目標評估中。然而,在規劃中使用BEV特征的情況下,通過適當的協同訓練,可以發現CAN總線和歷史軌跡帶來的改進在值集中變得微不足道,如表6所示。
此外,之前的研究也聲稱,僅使用本體車輛的信息(不使用輸入圖像和感知的任何信息)就能實現不錯的規劃性能。雖然本文在表6中也觀察到了類似的情況,尤其是在碰撞率和L2誤差方面。可以發現,在目標場景和地圖合規誤差率方面,AD-MLP的性能明顯不如PARA-Drive。這表明開環評估方案仍然非常有參考價值,并再次強調了本文標準化和增強型評估方法的重要性。
表7|對比感知和預測結果??【深藍AI】編譯
感知和預測方面的表現。作者在表7中總結了結果。令人驚訝的是,本文發現,在使用相同的R101基干網絡時,PARA-Drive中除規劃之外的其他模塊的性能與UniAD相當或略勝一籌,盡管PARA-Drive是一種并行架構。這表明,與其他任務一起聯合訓練BEV特征進行規劃可能不一定會導致負遷移問題。
表8|當前存在驗證指標的性能結果??【深藍AI】編譯
現有評估方法的性能。本文在表8中總結了基于UniAD和VAD評估方法的結果。盡管在使用這些評估方法時,由于假陽性碰撞,結果會產生噪音,且魯棒性較差,但PARA-Drive的性能仍持續優于現有技術。
運行速度。由于可以關閉除基干網絡和規劃頭之外的所有模塊,PARA-Drive的速度比UniAD-base提高了2.77倍,計算主要用于基干網絡。如果換成更輕量級的,如R50-tiny,PARA-Drive就能達到接近實時的速度。作者相信,他們的模型有可能為嵌入式設備的實時部署進行優化。
6. 總結和不足
本文對自動駕駛高級架構中的設計空間進行了系統分析,對模塊的必要性、模塊的排列以及模塊之間的信息流提出了見解,這些見解促成了新型全并行自動駕駛架構PARA-Drive的開發,該架構不僅在感知、預測和規劃方面達到了最先進的性能,而且大大加快了推理速度。盡管前景廣闊,但目前的結果僅限于開環設置,為此作者正在努力將實驗擴展到模擬閉環設置。
編譯|匡吉
審核|Los
移步公眾號【深藍AI】,第一時間獲取自動駕駛、人工智能與機器人行業最新最前沿論文和科技動態。