論文標題：
DTCLMapper: Dual Temporal Consistent Learning for Vectorized HD Map Construction
論文作者：
Siyu Li, Jiacheng Lin, Hao Shi, Jiaming Zhang, Song Wang, You Yao, Zhiyong Li, Kailun Yang
導讀：
本文介紹了一種用于自動駕駛高精地圖構建的新方法，該方法利用了鳥瞰視角（BEV）場景理解中的時間一致性學習，在保證建圖質量的同時，避免了傳統時間融合方法中的特征冗余問題。??【深藍AI】編譯
1. 背景簡介
高清地圖（HD Map）是自動駕駛技術不可或缺的基石，它賦予系統對周圍靜態環境的精確認知，從而確保導航的準確性和安全性。目前，主要有兩種類型的高清地圖：語義地圖和矢量地圖。語義地圖通常采用網格形式，在二維平面上展示道路信息，而矢量地圖則利用幾何點和線條來精確描述道路的輪廓。盡管兩種地圖各有其應用場景，但矢量地圖在存儲效率和精確度方面均展現出了明顯的優勢，這對于自動駕駛系統中的實時感知任務至關重要。
近年來的研究表明，實時的鳥瞰圖（BEV）融合技術能夠有效應對視覺信息的稀疏性問題。然而，現有的時間融合策略似乎并未顯著提升矢量化高清地圖的質量。融合后的BEV特征與地圖實例的特征匹配度不高，導致矢量點難以精確地定位到其原始位置，進而影響了檢測的準確性。經過深入分析，作者認為，這些方法主要依賴于簡單的時間特征融合，而未能充分利用對象間的差異性和相似性。
▲圖1｜當前時序融合與提出的一致性學習解決方案的區別??【深藍AI】編譯
2. 方案提出
為了應對上述挑戰，作者提出了DTCLMapper框架，該框架包含兩個協同工作的一致性學習組件：實例一致學習（ICL）和地圖一致學習（MCL）。這兩個組件相互補充，共同推動框架的性能提升。ICL組件由矢量點預選模塊（VPPSM）和聚合實例特征一致學習（AIFCL）組成。
VPPSM負責為實例中的一致性學習提供精確的實例特征，而AIFCL則致力于通過增強稀疏實例的一致性來提升整體性能。MCL組件則通過利用實例之間的一致性幾何位置信息來增強模型的一致性和泛化能力。
框架采用了矢量化地圖的柵格化方法來實現一致性，同時引入了地圖占用損失作為評估機制。這種機制不僅確保了空間關系的保持，還有助于改進模型的一致性和泛化能力，從而在自動駕駛領域中實現更精準的感知和決策。
▲圖2｜不同時序融合方法的結果??【深藍AI】編譯
3. 方法詳析
■3.1. 框架
DTCLMapper框架集成了圖像骨干網絡、多視圖變換器、BEV解碼器和多任務頭：
●多視圖圖像由預訓練的骨干網絡編碼，生成深度特征，這些特征通過視圖變換器聚合成BEV嵌入；
●變換器模塊采用BEVFormer和LSS等經典方法；
●BEV解碼器利用Deformable DETR技術。解碼器輸入包括BEV嵌入、實例查詢、初始參考點和點查詢；
●任務頭通過線性層和激活函數預測實例的標簽和邊框。
▲圖3｜提出的DTCLMapper架構概覽??【深藍AI】編譯
■3.2. 實例一致性學習（ICL）
ICL模塊由兩部分組成：矢量點預選模塊（VPPSM）和聚合實例特征一致性學習（AIFCL）。
●VPPSM致力于提供精確的實例特征，以增強實例的一致性學習；
●AIFCL則通過對比學習聚合的實例特征，提升稀疏實例的一致性表達。
其中，用于對比學習的正樣本是指來自不同時間幀但屬于同一實例的特征，而負樣本則是來自不同實例或錯誤匹配的特征。這種方法有助于提高同一實例在不同時間幀上的特征一致性，從而增強模型在處理稀疏視覺信息時的魯棒性和準確性。
◆矢量點預選擇模塊（VPPSM）
VPPSM模塊的設計旨在提高每個實例矢量點的回歸精度。該模塊通過以下幾個步驟實現：
●輸入特征處理：從BEV嵌入特征中提取與實例相關的特征。這些特征代表了場景中每個實例的幾何和語義信息。
●預選矢量點：對每個實例的初始矢量點進行篩選，選擇最能代表實例形狀和位置的矢量點。
●精細調整：使用已篩選的矢量點作為基礎，通過進一步的特征處理和調整，優化每個矢量點的位置，以提高矢量點的回歸精度。
VPPSM通過這一系列步驟，確保了矢量點的選擇和調整過程更加精確，從而為后續的一致性學習提供了可靠的基礎。
▲圖4｜矢量點預選模塊（VPPSM）示意圖??【深藍AI】編譯
◆聚合實例特征一致性學習（AIFCL）
AIFCL模塊通過對比學習（Contrastive Learning）來增強實例的一致性。具體流程如下：
●特征聚合：將來自不同時間幀的同一實例特征聚合在一起，形成一個綜合特征表示。
●對比學習：通過選擇正樣本和負樣本進行對比學習。正樣本是指來自不同時間幀的同一實例特征，而負樣本則是不同實例或錯誤匹配的特征。
●一致性增強：通過對比學習的過程，增強同一實例在不同時間幀中的特征一致性，減少特征漂移，提高實例表示的穩定性。
AIFCL模塊通過這種方式，確保實例特征在時間上的一致性，從而提高了矢量化高精地圖構建的準確性和穩定性。
■3.3. 地圖一致性學習（MCL）
MCL模塊通過利用「實例間的一致性幾何位置信息」來提升模型性能，借助于「矢量化地圖的柵格化網格地圖」來實施一致性約束。MCL采用地圖占用損失作為評估工具，以確保空間關系的準確性，從而增強模型的一致性和泛化能力。
◆設計思路
MCL模塊旨在通過全局幾何和狀態的一致性約束，進一步增強地圖的整體一致性和泛化能力。其設計思路包括：
●全局幾何一致性：利用實例間的幾何關系，確保各實例在全局地圖中的位置和形狀保持一致。
●狀態一致性：通過評估實例的占用狀態，確保地圖中實例的空間排列和占用關系準確反映實際情況。
◆實現方法
●網格地圖柵格化：將矢量化地圖轉換為網格地圖，以便于全局一致性的計算和評估。網格地圖提供了一種便捷的表示方式，使得幾何和狀態的一致性檢查更為直觀，且更易于實現。
●地圖占用損失：定義一種損失函數，評估實例在網格地圖中的占用狀態。該損失函數衡量實例間的空間關系，確保全局幾何一致性。
●自監督學習：利用自監督學習方法，強化模型的全局一致性。自監督學習無需額外標注，通過對輸入數據自身的結構和分布進行學習，提高模型的泛化能力。
MCL模塊通過這些方法，確保地圖中各實例的全局幾何和狀態一致性，從而提高矢量化高清地圖的整體質量和泛化能力。
4. 實驗結果
在公共數據集nuScenes和Argoverse上的廣泛實驗結果表明，作者提出的方法在高清地圖構建方面取得了顯著的提升，在平均精度（mAP）上分別達到了61.9%和65.1%的優異表現。
▲表1｜nuScenes數據集上的結果（*表示數據是通過開源實現的）??【深藍AI】編譯
▲表2｜Argoverse數據集上的結果（*表示數據是通過開源實現的）??【深藍AI】編譯
▲表3｜提出的模塊的消融實驗結果??【深藍AI】編譯
▲表4｜不同視圖轉換方法的結果??【深藍AI】編譯
▲表5｜實例學習中關鍵嵌入數量的結果??【深藍AI】編譯
▲表6｜占用損失的消融實驗結果??【深藍AI】編譯
▲表7｜不同時序融合方法的結果??【深藍AI】編譯
▲表8｜不同方法效率的結果。“VT”表示透視圖和鳥瞰圖之間的轉換方法；“Trans”表示Transformer結構；“SA”表示自注意力??【深藍AI】編譯
▲圖5｜nuScenes驗證數據集上的可視化結果??【深藍AI】編譯
▲圖6｜Argoverse驗證數據集上的可視化結果??【深藍AI】編譯
▲圖7｜矢量點回歸的可視化??【深藍AI】編譯
▲圖8｜HD網格地圖合并效果的比較??【深藍AI】編譯
▲圖9｜網格地圖合并的分析??【深藍AI】編譯
5. 總結
本文詳細介紹了DTCLMapper框架，它由兩個核心模塊組成：實例一致性學習（ICL）和地圖一致性學習（MCL）。ICL模塊通過矢量點預選和聚合實例特征一致性學習，強化了實例特征在時間維度上的一致性。而MCL模塊則通過全局的幾何和狀態一致性約束，確保了地圖的整體一致性和泛化能力。這兩個模塊的協同作用顯著提高了矢量化高精地圖的構建精度和質量。
作者計劃進一步優化和擴展DTCLMapper框架，以適應更復雜的駕駛環境和處理更大規模的數據集。此外，作者建議各位學者去探索更多的自監督學習方法和多任務學習策略，以增強模型的泛化能力和適應性。
編譯｜Deep藍同學
審核｜Los
移步公眾號【深藍AI】，第一時間獲取自動駕駛、人工智能與機器人行業最新最前沿論文和科技動態👇
深藍AI·賦能智自動駕駛與人工智能
)
