導讀
復旦大學&地平線新作-CorDriver: 首次通過引入"走廊"作為中間表征,揭開一個新的范式。預測的走廊作為約束條件整合到軌跡優化過程中。通過擴展優化的可微分性,使優化后的軌跡能無縫地在端到端學習框架中訓練,從而提高安全性和可解釋性。
??【深藍AI】編譯
論文題目:Drive in Corridors: Enhancing the Safety of End-to-end Autonomous Driving via Corridor Learning and Planning
論文作者:Zhiwei Zhang, Ruichen Yang, Ke Wu, Zijun Xu, Jingchu Liu, Lisen Mu, Zhongxue Gan, Wenchao Ding
論文地址:https://arxiv.org/pdf/2504.07507
1,技術背景
端到端自動駕駛在復雜的現實世界場景提供了更好的可擴展性和適應性,它通過統一的神經網絡直接將原始傳感器數據映射到軌跡,該網絡經過訓練以模仿人類駕駛員。通過將模塊(如感知、預測和規劃)集成到單一可訓練架構中,它消除了手工制定規則的需要。
但端到端涉及的安全行為是一個問題,源于基于學習的缺乏精確數學保證和可解釋性。有研究通過在采樣軌跡上引入安全成本函數來解決這一問題。然而,這種方法依賴于大量高質量的軌跡樣本和精確的評估函數。例如:UniAD在占用柵格上進行后軌跡優化,而VAD采用約束損失來增強軌跡安全性。
為了提高端到端自動駕駛的安全性,本文提出兩項研究。第一涉及解決約束車輛行為的有效表征缺失問題,通過在數據集中標注走廊、設計網絡架構和制定損失函數,將走廊學習整合到端到端駕駛的多任務流程中。這些組件使模型能夠在不同和動態的駕駛場景中準確且靈活地識別安全可行區域。其次,采用軌跡優化過程來生成規劃軌跡。
本文貢獻如下:
●?提出了CorDriver,一種在端到端框架內增強自動駕駛車輛安全性的顯式和可解釋方法。
●?CorDiver是首次將安全走廊引入基于學習的自動駕駛, 還開發了一個完整的走廊學習流程,并證明了其在改善駕駛安全性方面的有效性。
●?以走廊為約束的可微分優化過程能夠在考慮車輛運動學的同時生成安全軌跡,從而增強端到端駕駛的可解釋性。
●?通過充分和全面的驗證,該方法展示了端到端規劃安全性的顯著改進。
2,相關研究
2.1 安全端到端自動駕駛
在端到端自動駕駛中,確保安全的常用方法是為一組采樣軌跡分配成本函數。早期方法預測占用柵格,并以與自車重疊的單元格數量作為安全評估指標。VADv2從示范中建模軌跡分布,對碰撞樣本給予較低概率。但是這些基于采樣的方法高度依賴采樣軌跡的質量和多樣性,而更大的軌跡庫不可避免地會增加計算開銷。
其他端到端方法通過回歸直接預測軌跡,如UniAD和VAD。UniAD通過后優化優化軌跡以遠離占用柵格,而VAD引入基于矢量化感知輸出的額外損失函數來懲罰碰撞。還有些研究強調了軌跡質量與自車狀態之間的聯系,而其他方法提出改進的架構和解碼器,使軌跡規劃精確水平再次提高。
2.2 安全走廊
安全走廊是機器人規劃中避免碰撞和軌跡優化的強大表征。它最初通過IRIS在機器人規劃中引入,通過迭代優化計算凸無障礙區域以規劃雙足機器人的步態。Liu等人提高了這種方法的效率,并通過將約束表述為線性不等式來成功地將走廊應用于軌跡優化問題,將軌跡限制在多面體內。安全走廊的概念也可以用于自動駕駛。在本工作中,將這種表征擴展到端到端駕駛領域。如圖1所示:
圖 1 | CorDiver方法架構
3,方法精析
3.1,走廊學習
3.1.1 安全走廊表征
走廊通常使用連接的多面體或球體表示。然而,考慮到駕駛環境的高度結構化特性,如車道和智能體邊界框,使用矩形作為走廊表征是一種簡單有效的方法。這些矩形可以在2D鳥瞰圖(BEV)上使用位置、朝向和大小等屬性。為了在駕駛場景中融入時間信息,為每個規劃時間戳分配一個矩形,得到走廊公式C:
其中和
表示矩形的中心位置,
表示其朝向,
和
對應其長度和寬度。變量
表示未來時間戳的總數。在實踐中,這種表征即使在高度動態的場景和彎曲道路上也能有效捕捉安全區域。與4D占用等替代方案相比,它更輕量級,更適合后續的凸優化。
3.1.2 安全走廊標注
使用走廊標注作為監督。在數據集中標注走廊的第一步是識別交通場景中的物理和語義障礙物。●?障礙物考慮:智能體。車輛和行人等交通參與者對安全駕駛至關重要,它們的邊界框被保留為障礙物。
●?路沿,道路邊界作為基本約束,確保車輛保持在可行駛區域內。
●?車道,車道也作為隱式限制,引導駕駛行為。
為此,首先提取最近時期的自車軌跡,并保留未與軌跡重疊的車道作為靈活的語義障礙物。基于這些元素的幾何形狀,使用指定閾值
沿其輪廓采樣2D坐標,形成障礙物點集:
其中是點的總數。這種方法是自適應的,可以擴展到額外的語義,如交通燈和行人過街道。
在識別了必要的障礙物后,可以通過尋找最大矩形來生成安全走廊。如圖2所示,在每個時間戳,提取2D障礙物點
,并根據自車狀態
將其坐標轉換到局部坐標系。為提高計算效率,定義一個最大區域
,并忽略區域外的點。這個問題被表述為計算幾何學中廣為研究的最大空矩形(Maximum Empty Rectangle, MER)問題——即在給定邊界內找到包含原點且避開障礙物點的最大軸對齊矩形。為解決MER問題,通過遍歷障礙物點的組合,每個點精確地定義候選矩形的邊緣。計算并比較每個有效矩形的面積,選擇最大的矩形。在每個時間戳重復此過程并將矩形組合在一起,可以生成走廊的完整標注。
圖 2 | 安全走廊標注流程
3.1.3 安全走廊學習
本文端到端學習模型基于VAD,它利用矢量化場景表征并采用基于transformer的交互,從圖像輸入中生成檢測、預測和地圖。其規劃頭采用交互的自車查詢以及自車狀態和駕駛指令,并使用多層感知機(MLP)解碼自車軌跡。引入了與原始規劃頭并行的額外頭部,直接從
解碼走廊預測。
走廊損失計算為:
其中是損失,
和
分別是預測和真實走廊。
為進一步捕捉幾何特性,為走廊學習引入了三個輔助損失,包括兩個將走廊從障礙物中排斥的安全損失項。感知輸出提供路緣和智能體的位置。
路沿表示為標記道路邊界的點集,而智能體簡化為從檢測和預測頭獲得的其邊界框的頂點
。其中,安全損失不懲罰與車道分隔線的重疊。因此,走廊預測可能與某些車道標記相交,以獲得更大的安全區域,模仿人類在駕駛時利用相鄰車道空間的傾向。隨后,計算預測走廊每個矩形的邊緣,并通過障礙物點與邊緣之間的最小距離確定安全損失。
具體而言,地圖安全損失和智能體安全損失
表述為:
其中表示計算點到矩形最近邊緣的距離的函數,當點位于矩形內時。它定義為:
其中,表示點與矩形四條邊(左下、右下、左上、右上)的距離,
代表矩形包圍的區域。為防止走廊過度收縮,引入面積損失項以鼓勵更大的走廊尺寸。面積損失定義為:
其中是控制懲罰強度的縮放參數,
和
分別表示
時刻矩形的寬度和長度。
3.1.4 安全走廊對齊
基于預測與建圖結果,進一步優化初始預測的走廊以減少與感知結果的潛在沖突。具體而言,將預測的智能體邊界框和路緣石視為障礙物點,要求優化后的矩形必須排除這些點。優化后的矩形保留預測矩形原點,其邊界受預測矩形尺寸
約束,確保優化過程不會引入大的位置偏移或過度形狀畸變。通過逐時間步求解MER問題,后處理步驟可得到優化后的走廊
,實現走廊與感知障礙物的對齊。
3.2,微分優化
基于車輛模型跟蹤參考軌跡的問題在控制理論中通常建模為優化問題。本文提出的緊湊走廊表征,安全約束可以無縫集成,將問題構建為二次規劃(QP)。這類優化過程的可微分性,允許梯度通過代價函數和約束反向傳播,可以將優化過程嵌入網絡作為可微分頭部。
3.2.1 前向優化
正向傳播通過求解優化問題計算最優控制序列,在滿足系統動力學和約束條件下最小化預設代價函數。優化問題表述為:
其中包含車輛位置、航向和速度,控制向量
表示加速度和轉向角。邊界
和
定義控制輸入的可行范圍,
指定車輛初始狀態。代價函數包含兩個分量:跟蹤代價
和控制消耗
分別由正定對角矩陣
和
加權。其中,
表示與參考軌跡
的偏差。
車輛動力學采用線性化自行車運動學模型建模,離散時間動力學方程為,矩陣
和
定義為:
其中為時間步長,
為車輛軸距。
約束確保自車保持在指定走廊內。具體而言,預測走廊
可轉換為
表示(即通過線性不等式定義的半空間交集來描述凸多面體),因此約束點
位于矩形內可表達為:
其中和
是由各時間戳矩形
轉換得到的不等式系數。
此外,需在約束中考慮自車尺寸。通過將自車頂點投影至世界坐標系,走廊約束進一步細化為:
其中為當前自車航向
的線性化旋轉矩陣,
為自車位置堆疊矩陣,
和
分別表示自車的半長和半寬。
最終通過求解得到最優控制序列
。從初始狀態
正向傳播
可生成最終軌跡
。模仿損失通過計算與人類駕駛軌跡
的偏差實現。
通過整合所有加權損失函數,即走廊損失、地圖安全損失、智能體安全損失、面積損失、模仿損失以及來自VAD的損失項,構建了整體學習目標。
3.2.2 反向傳播
在反向傳播過程中,利用KKT條件的隱式微分特性,將梯度從QP解傳播至問題參數。KKT條件將最優解與問題參數相關聯,使梯度能夠通過優化層進行反向傳播。通過求解線性化的KKT系統,可以高效計算梯度,這使得優化層能夠調整控制策略、規劃軌跡和走廊約束。
4,實驗總結
4.1 實驗細節
訓練過程分為兩個階段。在第一階段,不包含可微分優化模塊,僅對檢測、預測、建圖、規劃及走廊預測任務進行48輪次訓練。第二階段持續12輪次,在凍結感知模塊參數的同時引入模仿損失函數。
4.2 實驗結果
采用BEVPlanner1的評估框架。具體而言,將自車、交通參與者和路緣石投影至0.1米精度的鳥瞰網格,通過像素交集計算碰撞率ACR和CCR。任一時刻發生碰撞即判定軌跡失效,L2指標按時序平均計算,與VAD方法一致。
實驗結果顯示(表1),將UniAD、VAD-Base和AD-MLP均引入規劃階段自車狀態信息
表1 | 在nuScenes上的規劃結果
實驗結果表明:在nuScenes開環測試中,基礎模型CorDriver較領先模型VAD實現平均60.6%的物體碰撞率降低,較UniAD減少42.1%的路緣碰撞。強化版CorDriver+進一步將ACR和CCR分別降至0.11%和0.85%,對應66.7%和46.5%的降幅。閉環測試顯示,CorDriver在保持可比駕駛得分的同時,顯著提升車道保持能力和路線完成率,實現了安全性與效率的平衡。這充分驗證了走廊學習與規劃策略在降低碰撞風險、增強駕駛魯棒性方面的優勢。
4.3 消融實驗
不同模塊的消融實驗結果如表2所示。驗證結果表明:僅引入走廊學習任務即可在保持軌跡精度相當的情況下適度降低碰撞率;而輔助損失函數的加入顯著提升了走廊預測精度,進而改善軌跡質量與安全性,這說明駕駛區域認知對自車軌跡規劃具有潛在增益。
表 2 | 不同模塊的消融實驗結果
有無輔助損失的走廊預測對比如圖3所示。盡管優化模塊因建模誤差導致軌跡精度略有下降,但其施加的安全約束使車輛與障礙物、路緣的碰撞率大幅降低,這種權衡是值得的的,因為實際應用中規避碰撞更為關鍵。優化對降低路緣碰撞的效果尤為顯著,印證了走廊能有效捕捉道路幾何特征,約束參考軌跡偏離路面。這些發現凸顯了顯式約束在軌跡優化中的重要性,證明了可解釋規劃過程對提升整體安全性的有效性。
圖3 | 學習走廊的可視化結果
表3結果顯示:僅優化權重矩陣時整體性能最佳,而引入可學習的軌跡與走廊參數會導致性能持平或下降。權重矩陣通過調節各項成本的重要性,能在不同樣本間產生更穩定的優化影響,這種平滑的梯度特性有利于模型收斂與性能提升。
表 3 | 學習參數在優化方面的消融實驗
4.4 其他結果
圖4展示了多個挑戰場景的可視化結果,包括交互路口、急彎道及車流匯入等。
圖 4 | 定性實驗結果
5,總結展望
本文提出CorDriver方法,通過走廊表征增強了端到端自動駕駛的安全性,將走廊預測作為約束融入軌跡優化,在提升安全性的同時增強了可解釋性。作者還探索了可微分優化在端到端框架中的作用,驗證了特定組件的可訓練性帶來的性能提升。
此外,模型優化過程產生的不穩定梯度對模型學習構成挑戰,未來希望通過引入懲罰函數平滑梯度(而非硬約束)等方式改進。如何將基于模型的優化有效融入可擴展的端到端方法,是下一步需要研究的目標。