《VLM-MPC: Model Predictive Controller Augmented Vision Language Model for Autonomous Driving》2024年8月發表，來自威斯康星大學的論文。

????????受視覺語言模型（VLM）的緊急推理能力及其提高自動駕駛系統可理解性的潛力的啟發，本文介紹了一種名為VLM-MPC的閉環自動駕駛控制器，該控制器將模型預測控制器（MPC）與VLM相結合，以評估基于模型的控制如何增強VLM決策。所提出的VLM-MPC由兩個異步組件組成：上層VLM根據前置攝像頭圖像、自我車輛狀態、交通環境條件和參考存儲器生成駕駛參數（例如，期望速度、期望車頭時距），用于下層控制；下級MPC使用這些參數實時控制車輛，考慮發動機滯后并向整個系統提供狀態反饋。基于nuScenes數據集的實驗驗證了所提出的VLM-MPC在各種環境（如夜間、降雨和十字路口）中的有效性。結果表明，與基于VLM的控制造成碰撞風險的某些情況相比，VLM-MPC始終將侵占后時間（PET）保持在安全閾值以上。此外，與現實世界的軌跡和基于VLM的控制相比，VLM-MPC增強了平滑度。通過比較不同環境設置下的行為，我們強調了VLM-MPC理解環境并做出合理推斷的能力。此外，我們通過消融測試驗證了參考記憶和環境編碼器這兩個關鍵組件對響應穩定性的貢獻。

1. 研究背景與動機

• 問題：現有自動駕駛系統（基于規則或學習的方法）存在適應性差、對分布外（OOD）數據魯棒性不足、響應速度慢等問題，且缺乏可解釋性。

• 解決方案：結合視覺語言模型（VLM）的推理能力和模型預測控制（MPC）的動態優化能力，提出?VLM-MPC?框架，旨在提升自動駕駛的安全性、平滑性和環境適應性。

---

?

2. 核心貢獻

1. 異步分層架構：

   • 上層 VLM：通過環境編碼器（提取天氣、光照、道路條件）、場景編碼器（車輛狀態、前車信息）、參考記憶（歷史駕駛參數聚合）生成駕駛參數（如目標速度、車距）。

   • 下層 MPC：基于VLM生成的參數和車輛動力學模型（考慮發動機延遲）實時控制車輛，實現高頻閉環反饋。

   • 異步機制：VLM以低頻（0.2Hz）更新參數，MPC以高頻（10Hz）執行控制，解決VLM響應速度慢的問題。

2. 抗幻覺設計：

   • 參考記憶：通過歷史數據統計場景平均參數，減少VLM輸出不穩定。

   • 環境編碼器：利用CLIP模型從攝像頭圖像中提取環境描述，增強上下文感知。

3. 實驗驗證：

   • 數據集：基于nuScenes數據集，覆蓋雨、夜、交叉路口等復雜場景。

   • 指標：

     • 安全性：通過“侵入后時間”（PET）衡量，VLM-MPC在所有場景中PET均高于安全閾值（1秒）。

     • 平滑性：通過加速度均方根（RMSa）衡量，VLM-MPC優于真實軌跡和基線模型（如LLM直接生成動作）。

     • 完成率：VLM-MPC使用Llava 1.6模型完成率達99.7%，GPT系列模型達100%。

---

3. 實驗關鍵結果

• 安全性（表4）：

  

  • VLM-MPC在雨天交叉路口等復雜場景中PET值（1.36–1.92秒）顯著高于基線模型（如LLM to Action的0.05–2.65秒）。

• 平滑性（表5）：

  

  • VLM-MPC的RMSa（0.33–0.43 m/s2）接近真實軌跡（0.51–0.68 m/s2），遠優于LLM直接控制（0.93–3.13 m/s2）。

• 消融實驗（表7、8）：

  ---

  

  • 移除參考記憶（VLM-MPC without M）導致參數偏向高風險（更高速度、更大車距），雨天/夜間平滑性下降。

  • 移除環境編碼器（VLM-MPC without E）顯著降低完成率（87.5%），因VLM無法理解道路信息。

---

4. 創新點

• VLM與MPC的協同：通過分層架構，將VLM的語義推理與MPC的物理約束結合，兼顧決策智能與動態優化。

• 抗幻覺機制：參考記憶和環境編碼器顯著提升輸出穩定性，減少語言模型常見的不合理生成。

• 可解釋性增強：通過可視化注意力機制（圖10），展示VLM在生成參數時對圖像關鍵區域的關注（如道路、障礙物）。

---

5. 局限與未來方向

• 局限：

  • 實驗依賴仿真數據（nuScenes），未覆蓋真實場景的動態不確定性。

  • 當前VLM響應時間（Llava 1.6約3.42秒）仍需優化以滿足更高頻率需求。

• 未來：

  • 模型輕量化：優化參數規模，提升實時性。

  • 真實路測：驗證系統在復雜天氣、低光照等極端場景的魯棒性。

  • 多模態擴展：融合雷達、LiDAR等多傳感器數據，增強環境感知。

---

6. 總結

VLM-MPC?通過結合VLM的語義理解和MPC的動態控制，為自動駕駛提供了一種安全、平滑且可解釋的解決方案。其分層異步架構和抗幻覺設計有效彌補了純學習方法的不足，實驗驗證了其在復雜場景下的優越性，為未來自動駕駛系統的智能化與可靠性提供了重要參考。

?如果此文章對您有所幫助，那就請點個贊吧，收藏+關注 那就更棒啦，十分感謝！！！?