自動駕駛論文閱讀筆記2
Uber–ECCV2020–論文文章代碼

模型的作用：Motion Forecasting （這個motion都包括什么呢？）
方法：模型由四個模塊組成–ActorNet、MapNet、FusionNet、Header

1.ActorNet

作用–編碼actor軌跡特征

1. 輸入：每一條actor的軌跡（3xT的輸入向量）(actor包括所有運動者？)
2. 操作：1D CNN + FPN(特征金字塔)（多尺度不斷上采樣融合特征）
3. 輸出：該軌跡的特征向量(多少維度呢？128維度么)

軌跡表示–位移差
{Δp?(T?1),...,Δp?1,Δp0}\{\Delta p_{-(T-1)},...,\Delta p_{-1},\Delta p_{0}\}{Δp?(T?1)?,...,Δp?1?,Δp0?}

$$\Delta p_t=(x_t,y_t)?(x_{t?1},y_{t?1})$$

長度為T，不足T的padding 0，下面2xT的位移向量 拼接 1xT的padding標志向量(1-表示該位置的位移是padding的)

ActorNet–3組1D卷積，每組包括兩個殘差塊；特征金字塔融合多尺度的特征（卷積 卷下去，上采樣，再和對應的尺度疊加）

輸出-- The output of ActorNet is a temporal feature map,whose element at t = 0 is used as the actor feature.（不是很清楚這個時間序列是怎么回事？）

2.MapNet

作用–編碼地圖特征，主要是對車道的編碼

1. 構建lane graph(結點與連接的定義)
2. 利用LaneGCN獲取lane圖的特征

2.1 構建lane Graph

1. lane node --車道中心線的一段，結點位置為兩端結點坐標的均值。==一條車？所有？==道線上的眾多結點可以表示為向量$V\in {\mathbb{R}}^{N\times 2}$（結點的二維特征表示）
2. 車道結點特征向量帶有4個連接矩陣{Ai}i∈{pre,suc,left,right}\{A_i\}_{i\in \{pre,suc,left,right\}}{Ai?}i∈{pre,suc,left,right}?,$A_i\in {\mathbb{R}}^{N\times N}$, $A_{i,jk}=1$表示結點$j$ 存在一個類型$i$的鄰居結點$k$。
3. LaneConv Operator
   a). lane node 特征$x_i$–編碼形狀(長度方向)，位置(空間坐標)信息，經過全聯接層處理后，輸出lane node特征$x_i$；構成結點特征矩陣$X$。
   $$x_i=ML{P}_{shape}(v_i^{end}?v_i^{start})+ML{P}_{loc}(v_i)$$
   b).LaneConv 為了獲得lane graph大規模拓撲信息（四個$A_i$矩陣都用上）
   Y=XW0+∑i∈{pre,suc,left,right}AiXWiY=XW_0+\sum_{i\in\{pre,suc,left,right\}}A_iXW_iY=XW0?+i∈{pre,suc,left,right}∑?Ai?XWi?
   c).Dilated LaneConv 為了讓模型獲得車道線方向的長時依賴關系(速度快的物體位移大，只用到$A_{pre}$和$A_{suc}$)
   $$Y=X{W}_0+A_{pre}^{k}X{W}_{pre,k}+A_{suc}^{k}X{W}_{suc,k}$$
   d). $LaneConv(k_1,...,k_c)$=Dilated LaneConv + LaneConv - $k_c$為第$c$個dilation 尺寸
   Y=XW0+∑i∈{left,right}AiXWi+∑c=1C(AprekcXWpre,kc+AsuckcXWsuc,kc)Y=XW_0+\sum_{i\in\{left,right\}}A_iXW_i + \sum_{c=1}^C(A^{k_c}_{pre}XW_{pre,k_c}+A^{k_c}_{suc}XW_{suc,k_c})Y=XW0?+i∈{left,right}∑?Ai?XWi?+c=1∑C?(Aprekc??XWpre,kc??+Asuckc??XWsuc,kc??)

2.2 LaneGCN操作
$LaneConv(k_1,...,k_c)$ + Linear Layer 構成殘差塊， 4個殘差塊堆疊，構成LaneGCN。

注意點：
每個結點與鄰居結點的連接關系，指明前后左右的結點。
a). 結點A的前驅結點、后續結點：同一條車道線上，能夠到達A的結點和A能夠到達的結點
b).結點A的左鄰居結點、右鄰居結點：鄰居車道線上空間距離$l_2$最近的結點

對車道結點圖不采用廣泛使用的圖卷積$L=D^{?\frac{1}{2}}(I+A)D^{?\frac{1}{2}}(1)$更新隱狀態的原因：
a). 不知道結點特征會保存何種車道信息（可解釋性不強？）
b). 該拉普拉斯矩陣操作沒法獲取結點的連接關系信息(沒有對$A_i$矩陣的操作，(1)式中的A為結點的鄰接矩陣，與$A_i$內涵不同)
c). 無法解決長時依賴性的問題
為了解決以上三個不足點，作者提出了LaneConv Operator操作。

Dilated LaneConv 參考了dilated convolution，說是能夠沿著車道線傳遞k步的信息。

3.FusionNet

利用空間注意力機制(spatial attention)（用于構建A2L, L2A, A2A） 和LaneGCN(主要用來構建L2L網絡的)融合actor結點和lane結點的信息，
四個信息融合模塊：

1. A2L-將實時交通信息傳達給lane node
2. L2L-依據實時交通信息，更新lane node 的特征
3. L2A-將更新后lane node 的特征返回給actor
4. A2A-解決actor之間的相互作用，并且actor特征給motion預測網絡

L2L 網絡結構-結點特征更新時的LaneGAN結構一致
A2L, L2A, A2A網絡結構一致，采用空間注意力機制構成殘差塊。
$$y_i=x_i{W}_0+\sum _j?(concat(x_j,{\Delta }_{i,j},x_j)W_1)W_2$$

4.Prediction Header

Prediction Header包含兩路分支

1. 回歸分支- 回歸每一個actor的k種模態(速度？path？)的預測軌跡，每一條軌跡包括T個時間步長，$p_{m,1}^k$軌跡的二維特征。
   Om,reg={(pm,1k,pm,2k,...,pm,Tk)}k∈[0,K?1]O_{m,reg}=\{(p_{m,1}^k,p_{m,2}^k,...,p_{m,T}^k)\}_{k\in[0,K-1]}Om,reg?={(pm,1k?,pm,2k?,...,pm,Tk?)}k∈[0,K?1]?

2. 分類分支-計算每個actor k種模態的置信度, 輸入特征：actor 特征 拼接 預測軌跡的偏移 embeding-$p_{m,T}^k?p_{m,1}^k$

5.模型參數學習

end-to-end 學些過程，總的損失函數=分類損失+回歸損失
$$L=L_{cls}+\alpha L_{reg}$$
分類損失：置信系數的max-margin loss
$$L_{cls}=\frac{1}{M(K?1)}\sum _{m=1}^M\sum _{k=\hat{k}}\max (0,c_{m,k}+??c_{m,\hat{k}})$$
回歸損失：正預測軌跡，逐結點smoth l1 loss
$$L_{reg}=\frac{1}{MT}\sum _{m=1}^M\sum _{t=1}^{T}reg(p_{m,t}^{\hat{k}}?p_{m,t}^{?})$$

注：正軌跡$\hat{k}$,在最后一個時間結點處擁有最小的偏移誤差。

---

參考博文：
1.ECCV2020介紹Uber在GNN-based motion forecasting的兩篇研究論文–還介紹了另一篇文章
2.2007-Learning Lane Graph Representations–提供代碼開源信息，贊！
3.文獻閱讀報告-Learning Lane Graph Representations for Motion Forecasting–有和VectorNet的比較。