1. 概述

2025年，蘇黎世研究團隊在RSS2025會議上正式提出「LLM-MPC混合架構」，標志著大語言模型（LLM）在自動駕駛系統中的實用化邁出關鍵一步。該方案旨在解決傳統深度學習模型在極端交通場景中泛化能力不足的問題。通過在車載終端邊緣部署LLM，并融合模型預測控制（MPC）技術，系統在保持實時性與安全性的同時，推理速度提升10.5倍，為復雜環境中的高魯棒決策提供全新范式。

2. 核心技術：邊緣部署與混合控制架構

2.1 雙模塊協同框架

• DecisionxLLM（決策模塊）：
  • 分析車載傳感器數據（如位置、速度、與障礙物距離），基于自然語言指令（如 “平穩駕駛”）判斷當前行為是否符合預期。
  • 引入檢索增強生成（RAG），結合機器人特定知識（如安全速度范圍、車道邊界閾值）增強推理準確性，避免純文本 LLM 的泛化不足。
• MPCxLLM（控制模塊）：
  • 基于模型預測控制（MPC）的底層控制器，接收 LLM 指令動態調整成本函數參數（如橫向加速度權重、速度約束）。
  • 通過低秩適應（LoRA）微調，使 LLM 學習如何將自然語言映射至 MPC 參數（如 “遠離墻壁” 對應增大橫向偏差權重qn），平衡控制靈活性與安全性。

2.2 邊緣部署優化技術

• 模型壓縮：
  • 量化（Quantization）：將 LLM 參數從 FP16 壓縮至 Q5_k_m 格式，顯存占用減少 40% 以上，推理速度提升 10.5 倍（如 Qwen2.5-7b 在 Jetson Orin 上從 30.48 秒 / 次降至 5.52 秒 / 次）。
  • 輕量化模型選擇：采用 Qwen2.5-7b（70 億參數）和 Phi3-mini（38 億參數）替代云端 GPT4o，在保持 82% 以上決策精度的同時，實現本地實時運行。
• 計算資源調度：
  • 使用 Jetson Orin AGX 作為車載計算單元，GPU 負責 LLM 推理，CPU 處理 MPC 控制邏輯，通過 ROS 動態參數調整實現模塊解耦，避免 LLM 推理延遲影響控制頻率（MPC 保持 20Hz 實時控制）

3. 技術優勢

• 混合架構優勢：LLM 負責高層語義理解（如解析 “平穩駕駛” 為降低加速度波動），MPC 確保底層控制的安全性與實時性，避免純學習模型的不可解釋性風險。
• 數據高效性：通過 GPT4o 生成合成數據微調本地 LLM，僅需少量真實場景數據即可適應新指令（如 “雨天謹慎駕駛”），降低標注成本。
• 邊緣部署范式：提出 “量化 + LoRA+RAG” 組合方案，使 70 億參數模型在邊緣設備實現實時推理，突破傳統云依賴架構的隱私與可靠性瓶頸。

4. 未來方向

1. 多模態 LLM 集成：
   融合視覺特征（如 BEV 感知結果）與語言指令，提升場景理解的豐富性，例如通過圖像識別動態障礙物并生成避障策略。
2. 動態參數優化：
   引入在線學習機制，根據實時控制誤差動態調整 LLM 推理策略，減少多輪交互延遲。
3. 輕量化模型架構：
   探索參數高效微調（PEFT）的更優變體（如 IA3、QLoRA），進一步壓縮模型體積至 10 億參數級，適配更低算力設備（如 Jetson Nano）。
4. 安全認證體系：
   建立 LLM 決策的形式化驗證流程，通過形式化方法證明參數調整的安全性邊界，滿足 ISO 26262 等車載功能安全標準。

5. 商業前景與商用性分析

商用維度	說明
行業適配性	適用于高級自動駕駛（L3-L5）、特種車輛（礦卡、港口運輸）等應用場景
隱私合規性	數據完全本地處理，規避GDPR等隱私合規障礙
成本可控性	量化+微調技術減少對算力依賴，成本低于云部署10倍
部署靈活性	可廣泛部署于中低端嵌入式平臺，適配多種操作系統與車載控制平臺
投資價值	LLM 具身智能控制市場潛力大，有望成為未來十年智能駕駛領域核心技術支撐

6. 結論

論文提出的車載 LLM 邊緣部署方案，通過混合架構與模型壓縮技術，首次實現了大模型在自動駕駛場景的實時知識推理與控制適配。實驗表明，該方案在決策準確率（+10.45%）、控制適應性（+52.2%）和邊緣計算效率（+10.5 倍）上均取得顯著提升，為解決自動駕駛邊緣場景的長尾問題提供了新路徑。未來結合多模態感知與更高效的模型優化技術，有望推動具身智能在復雜交通環境中的規模化應用。