---

前言

參加了NVIDIA 高級輔助駕駛開發者實驗室的活動，本次活動基于 NVIDIA 汽車行業的端到端解決方案——DRIVE AGX? 平臺，實現高級別智能和安全性的軟硬件開發工具和 AV 基礎設施。并且NVIDIA自動駕駛實驗室推出了一系列自動駕駛算法最新的前沿研究視頻以供學習，其中視頻 “大規模端到端駕駛” 詳細的介紹了Hydra-MDP框架，接下來進行簡單的梳理。

端到端自動駕駛指的是系統接收來自攝像頭雷達和激光雷達的原始傳感器數據，并直接輸出車輛控制指令的整體方案。端到端自動駕駛已成為自動駕駛汽車領域的一個重要方向，NVIDIA提出了一種基于BEV特征的神經網絡規劃器。

---

一、傳統駕駛模型

傳統駕駛模型由以下幾個模塊組成：汽車傳感器、BEV網絡、BEV功能、檢測、跟蹤、預測、規劃，最后輸出一條汽車可執行的軌跡。

二、NVIDIA的端到端駕駛模型

與基于模塊化設計，包含檢測、跟蹤、預測、規劃和控制等獨立組件的傳統系統不同，端到端自動駕駛旨在簡化這一過程，避免感知到規劃的過程過于繁瑣。

1.基本模型

NVIDIA的端到端駕駛模型，使用簡約的設計將檢測、跟蹤、預測和規劃結合到單一網絡中，規劃模塊的輸入直接來自攝像頭和激光雷達等傳感器生成的BEV特征圖，這種簡化的方式反映了基于深度學習的數據驅動方法。

2.自查訊向量

在這些系統中，任務被集成到一個連貫的端到端學習過程中，具體而言，該方案的端到端駕駛模型使用自查訊向量一個可學習的嵌入表達，來交叉關注BEV特征，由此改進后的自查訊向量。

隨后通過一個多層感知器（MLP）輸出規劃軌跡，這種簡單的設計挑戰了傳統假設，即有效的自動駕駛規劃需要一個復雜的級聯系統，該方案提出的設計簡單高效，不僅具有跨平臺部署的靈活性而且還能擴展以處理更大的數據集，它通過直接利用BEV特征進行規劃得到了出色的性能。

3.通用框架

NVIDIA的端到端駕駛還提供了一個通用框架，以增強基于機器學習的規劃與基于規則的規劃的結合，使用多目標Hydra-distillation(多頭蒸餾)作為核心策略。該方法采用多個專家教師來學習符合各種模擬指標的軌跡，此集成確保了模仿不僅模仿人類駕駛行為還遵守交通規則和安全標準解決了傳統模仿學習的局限性。

---

總結

自動駕駛汽車的人工智能進展令人驚嘆，無論是在人工智能專業知識方面，還是在支持最新生成式AI以及端到端模型所需的基礎設施方面，這將實現更安全，更人性化的城市駕駛體驗。

白皮書：自動駕駛安全報告

NVIDIA 高級輔助駕駛實驗室技術干貨視頻及博客訪問入口