1 總結
本文調研在給定導航信號后,如何在端到端架構下,利用導航信息引導軌跡生成。
目前主流的方案可以分為2種。一種是將導航作為“前置引導”深度融入軌跡生成過程(導航前置型);另一種則是將導航作為“后置評價”標準來篩選最優軌跡(導航后置型)。
但是兩者并不是割裂的,可以結合使用,導航前置可以縮小搜索范圍,節省算力,提高Precision;導航后置可以進一步約束軌跡形態,提高軌跡質量。
2 導航前置型
2.1 導航路徑型
- 核心思想:用導航路徑信息和自車特征融合作為query,和場景特征(如BEV)交互,從而融合自車狀態/場景/導航目標,再解碼得到軌跡。
- 優勢:顯式使用導航路徑點信息,引導車輛行駛
- 劣勢:模型對導航路徑點坐標敏感,在路徑點坐標誤差大時,車輛可能駛入錯誤車道
- 代表方案:UniAD
The planning head is a Transformer decoder. We design a planning query to predict the future trajectory. To incorporate the guidance from the route plan, we sample N reference points from the planned route and project them to the ego-vehicle coordinate. These reference points are then encoded by an MLP and added to the ego-vehicle’s state (velocity, acceleration, etc.) embedding to form the final planning query. The planning query then interacts with the occupancy forecast features via cross-attention to be aware of the future dynamic environment.
具體做法:
- 采用Dijskra算法計算到達目標的最短路徑,然后沿著該路徑均勻采樣10個參考點
The planned route is composed of 10 reference points uniformly sampled along the path length.
- 對參考點進行編碼,得到route_embedding;然后對自車狀態(包含物理尺寸,速度,加速度等)也進行編碼,得到ego_state_embedding。這2個同維度的embedding直接相加得到planning query。這一步融合了“我現在是什么狀態”和“我將要去哪里”。
…and added to the ego state embedding to form the final planning query.
- 將planning query和OCC(4維:時間,X,Y,Z)進行交互,關注導航路徑附近的障礙物/車道線信息,從而輸出豐富context的特征,采用prediction head進行解碼,就得到了軌跡(6個點,間隔0.5s,未來3s軌跡)。
For the planning task, we set the prediction horizon to 3 seconds with 6 predicted waypoints.
2.2 導航指令型
- 核心思想:用導航指令信息和自車特征進行融合,和場景特征(如向量化場景表征)交互,再解碼得到軌跡。
- 優勢:將導航視為“意圖”,而不是要遵行的路徑點,更加魯棒
- 劣勢:沒有顯式的路徑點進行引導,可能存在指令理解偏差
- 代表方案:VAD
具體做法:
- 將導航路徑簡化為指令。通過分析在導航路徑上的關鍵決策點,生成離散的控制指令(比如左轉/右轉/執行)。這一步避免依賴精確的導航路徑點,從而更加魯棒。
For each sample, we provide a high-level command from a sparse set of waypoints indicating the intended maneuver, e.g., turn left/right, go straight, or lane change. Specifically, we define 4 discrete commands, i.e., Follow Lane, Go Straight, Turn Left, and Turn Right.
- 將指令映射為對應的指令嵌入。
To incorporate the command, we first define a set of learnable embeddings {c(1), c(2), …, c(K)} for K commands. For a given command k, we obtain its embedding c(k).
- 將指令嵌入和自車狀態進行融合,實現上就是相加。
We also introduce a learnable ego query q(ego) to represent the ego vehicle. The initial planning query q(plan) is formed by adding the command embedding to the ego query: q(plan) = q(ego) + c(k).
- 融合后和障礙物/車道線進行cross attention,然后解碼得到軌跡。
This command-guided query then serves as the input to the planning decoder, which is a standard Transformer decoder. It iteratively interacts with the instance queries (representing other agents) and map queries (representing lanes) through self-attention and cross-attention layers to refine its representation and finally predict the trajectory.
3 導航后置型
3.1 神經網絡型
- 核心思想:通過軌跡生成網絡輸出多條軌跡,然后采用軌跡評估網絡對其進行評分。其中導航信息強約束神經網絡。
- 代表公司:Tesla
Tesla AI Day 2021 演講: 在運動規劃環節,Ashok Elluswamy 指出,他們使用神經網絡來預測“jerk”(加加速度)、“intervention”(被接管的可能性)等,這些都作為代價函數的一部分。整個評價體系是深度學習驅動的。
注意:特斯拉的導航信息可能在軌跡生成網路中存在弱引導作用。
3.2 規則型
-
核心思想:針對輸出的多條軌跡,采用綜合了效率/安全等代價的函數進行整體評測。
-
代表公司:華為,小鵬(應該并非最新方案)
-
小鵬:CN113232873A《一種自動駕駛的路徑規劃方法、裝置、設備及存儲介質》
-
華為:CN1138055724A -《一種運動規劃的方法和裝置》
【0065】 “可選地,在S102之后,該方法還包括:對所述多條候選軌跡進行評估,以從所述多條候選軌跡中選擇出目標軌跡。”
【0066】 “具體地,所述多個性能指標可以包括:所述候選軌跡的安全性指標、舒適性指標和效率指標中的至少一種。”
【0067】 “例如,所述安全性指標可以用于表征所述車輛按照所述候選軌跡行駛時的碰撞風險。”
【0068】 “例如,所述舒適性指標可以用于表征所述車輛按照所述候選軌跡行駛時的乘客乘坐體驗,例如,乘客感受到的沖擊、顛簸等。”
【0069】 “例如,所述效率指標可以用于表征所述車輛按照所述候選軌跡行駛時的通行效率,例如,到達目的地所需的時間。”
其中,效率指標中的一項即為“軌跡終點和導航路徑的貼合程度”