NVIDIA 自動駕駛技術見解

前言

參與?NVIDIA自動駕駛開發者實驗室?活動,以及解讀了??NVIDIA 安全報告 自動駕駛?白皮書,本文是我的一些思考和見解。自動駕駛技術的目標是為了改善道理安全、減少交通堵塞,重塑更安全、高效、包容的交通生態。在這一領域,NVIDIA 憑借其在 AI 與加速計算的深厚積累,構建了從芯片到軟件、從仿真到落地的全棧技術體系,成為全球車企和開發者的核心合作伙伴。可概括為三點:

  1. 端到端 AI 驅動:通過統一模型覆蓋感知、規劃到控制的完整駕駛流程,減少傳統模塊化設計的復雜性與延遲。

  2. 物理精準仿真:借助 Omniverse 平臺生成極端場景的合成數據,覆蓋暴雨、夜間、復雜交通等高風險場景,降低實車測試風險。

  3. 冗余安全架構:基于 DRIVE AGX Orin/Thor 芯片的硬件冗余設計,結合 ISO 26262/21448 等國際安全標準,實現系統級故障容錯。

安全性上,NVIDIA 的自動駕駛技術以“零事故”為愿景,通過四大安全支柱構建防護閉環,從數據標注到道路測試的全鏈路均以安全為第一優先級。

?

見解

1. 安全模型:從仿真到落地的三重驗證

NVIDIA 提出“AI 訓練-仿真-車載部署”的鐵人三項開發模型,確保自動駕駛系統在虛擬與現實中均表現可靠:

  • AI 訓練:依托 DGX 超算集群,在 PB 級多樣化數據上訓練深度神經網絡(DNN),覆蓋全球不同地區的道路場景。

  • 仿真驗證:通過 Omniverse 平臺生成高保真虛擬環境,模擬極端天氣、傳感器失效等罕見場景,驗證算法魯棒性。

  • 車載部署:DRIVE AGX 車載計算機實時處理傳感器數據,結合冗余硬件與動態安全策略,確保車輛在故障時進入“最小風險狀態”。

自動駕駛汽車軟件開發傳統上基于模塊化方法,具有用于 物體檢測與跟蹤、軌跡預測以及路線規劃和控制的獨立組
件。
如今,自動駕駛汽車技術已邁入新時代 以大型、統一的 AI 模型為特色,可控制車輛堆棧從感知、規 ——AV 2.0。AV 2.0
劃到控制的多個環節。
與專注于使用多個深度神經網絡改進車輛感知能力的 AV
1.0 到端駕駛 相比,AV 2.0 ”的方法來推動在動態、真實環境中的決策。 則需要全面的車載智能,借助一種稱為“端
端到端自動駕駛系統采用統一的模型接收傳感器輸入并生 成車輛軌跡。這有助于避免過度復雜的流水線,并提供一種
更全面的數據驅動方法以應對真實世界的場景
2. 四大安全支柱:技術驅動的防護閉環
支柱1:AI 設計與實施平臺
  • 硬件:DRIVE AGX Orin/Thor SoC 提供 254-1000 TOPS 算力,支持 L2-L5 全級別自動駕駛,通過冗余設計(如雙芯片備份)實現故障容錯。

  • 軟件:DriveOS 操作系統與 CUDA/TensorRT 加速庫,支持 20+ DNN 模型并行運行,融合攝像頭、雷達、激光雷達多傳感器數據。

  • 優勢:統一架構可擴展升級,車企可基于同一平臺開發從輔助駕駛到完全自動駕駛的全系列產品。

參數:

NVIDIA DRIVE AGX Orin? SoC(片上系統)可提供高達
254 TOPS 計算機。它是理想的解決方案,為自動駕駛功能、置信視 (每秒萬億次運算)的性能,是智能車輛的中央
圖、數字集群以及 AI 駕駛艙提供動力支持。借助可擴展的
DRIVE AGX Orin 建、擴展和利用一次開發投資,便可從 產品系列,開發者只需在整個車隊中構 L2+ 級系統一路升
級至 L5 級全自動駕駛汽車系統
DRIVE AGX Thor 計算機,將功能豐富的駕駛艙功能與高度自動化及自動 ? SoC 是我們的下一代集中式車載
駕駛功能整合在一個安全可靠的系統上。這款自動駕 駛處理器采用了我們最新的 CPU 和 GPU 技術,包括
NVIDIA Blackwell GPU 能。DRIVE AGX Thor 支持 架構,用于轉換器和生成式 8 位浮點數 (FP8),可提供前所 AI 功
未有的 1,000 INT8 TOPS/1,000 FP8 TFLOPS/500 FP16
TFLOPS 性能,同時降低整體系統成本
支柱2:深度學習基礎設施
  • 數據工廠:標注 PB 級真實道路數據,結合 Omniverse Replicator 生成合成數據,填補罕見場景(如行人突然闖入)的數據空白。

  • 訓練優化:DGX 超算集群支持分布式訓練,模型迭代效率提升 10 倍以上,確保 DNN 適應全球多樣化路況。

支柱3:物理精準傳感器仿真
  • 仿真工具:Omniverse Cloud Sensor RTX 提供毫米波雷達、激光雷達的高精度建模,支持雨雪、霧霾等復雜天氣的傳感器性能測試。

  • 價值:減少 80% 的實車測試成本,加速算法驗證周期。

支柱4:全方位安全與網絡安全
  • 功能安全(ISO 26262):硬件/軟件全鏈路通過 ASIL D 級認證,確保單點故障不影響系統安全運行。

  • 預期功能安全(SOTIF):通過仿真與道路測試驗證算法在無故障場景下的可靠性(如感知誤判率低于 0.001%)。

  • 網絡安全(ISO/SAE 21434):多層加密、滲透測試、零日攻擊監控,防止惡意入侵導致車輛失控。

安全支柱關系圖

AI 平臺(硬件+軟件) ?
? ↓ ?
深度學習(數據+訓練) ?
? ↓ ?
傳感器仿真(場景覆蓋) ?
? ↓ ?
安全合規(功能+網絡) ?

3. 安全架構:從芯片到系統的全棧防護
  • 硬件層:DRIVE AGX 芯片集成 CPU/GPU/ASIC 模塊,通過物理隔離與冗余設計(如雙電源、雙通信通道)抵御硬件故障。

  • 軟件層:DriveOS 提供實時任務調度與內存保護,DriveWorks 中間件實現傳感器融合與軌跡規劃,DNN 模型通過多幀跟蹤與多傳感器校驗提升感知可靠性。

  • 驗證層:采用 V 模型開發流程,結合故障樹分析(FTA)與失效模式分析(FMEA),確保系統設計無缺陷。

最后

NVIDIA研發出了AV2.0大模型配置全面車載,可實現端到端自動駕駛,通過統一模型接受傳感器輸入的數據可生成車輛軌跡,提供一種更加全面的數據去驅動方法以模擬真實世界的場景。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/77801.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/77801.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/77801.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

OpenCV day6

函數內容接上文:OpenCV day4-CSDN博客 , OpenCV day5-CSDN博客 目錄 平滑(模糊) 25.cv2.blur(): 26.cv2.boxFilter(): 27.cv2.GaussianBlur(): 28.cv2.medianBlur(): 29.cv2.bilateralFilter(): 銳…

Function calling, 模態上下文協議(MCP),多步能力協議(MCP) 和 A2A的區別

背景闡述 本文大部分內容都是基于openAI 的 chatGPT自動生成。作者進行了一些細微的調整。 LLM 帶來了很多思維的活躍,基于LLM,產生了很多應用,很多應用也激活了LLM的新的功能。 Function calling,MCP(Modal Contex…

火山RTC 5 轉推CDN 布局合成規則

實時音視頻房間&#xff0c;轉推CDN&#xff0c;文檔&#xff1a; 轉推直播--實時音視頻-火山引擎 一、轉推CDN 0、前提 * 在調用該接口前&#xff0c;你需要在[控制臺](https://console.volcengine.com/rtc/workplaceRTC)開啟轉推直播功能。<br> * 調…

力扣面試150題--插入區間和用最少數量的箭引爆氣球

Day 28 題目描述 思路 初次思路&#xff1a;借鑒一下昨天題解的思路&#xff0c;將插入的區間與區間數組作比較&#xff0c;插入到升序的數組中&#xff0c;其他的和&#xff08;合并區間&#xff09;做法一樣。 注意需要特殊處理一下情況&#xff0c;插入區間比數組中最后一…

【Java面試筆記:基礎】4.強引用、軟引用、弱引用、幻象引用有什么區別?

1. 引用類型及其特點 強引用(Strong Reference): 定義:最常見的引用類型,通過new關鍵字直接創建。回收條件:只要強引用存在,對象不會被GC回收。示例:Object obj = new Object(); // 強引用特點: 強引用是導致內存泄漏的常見原因(如未及時置為null)。手動斷開引用:…

ycsb性能測試的優缺點

YCSB&#xff08;Yahoo Cloud Serving Benchmark&#xff09;是一個開源的性能測試框架&#xff0c;用于評估分布式系統的讀寫性能。它具有以下優點和缺點&#xff1a; 優點&#xff1a; 簡單易用&#xff1a;YCSB提供了簡單的API和配置文件&#xff0c;使得性能測試非常容易…

基于SpringBoot的校園賽事直播管理系統-項目分享

基于SpringBoot的校園賽事直播管理系統-項目分享 項目介紹項目摘要管理員功能圖用戶功能圖項目預覽首頁總覽個人中心禮物管理主播管理 最后 項目介紹 使用者&#xff1a;管理員、用戶 開發技術&#xff1a;MySQLJavaSpringBootVue 項目摘要 隨著互聯網和移動技術的持續進步&…

Nginx?中間件的解析

目錄 一、Nginx的核心架構解析 二、Nginx的典型應用場景 三、Nginx的配置優化實踐 四、Nginx的常見缺陷與漏洞 一、Nginx的核心架構解析 ??事件驅動與非阻塞IO模型?? Nginx采用基于epoll/kq等系統調用的事件驅動機制&#xff0c;通過異步非阻塞方式處理請求&#xff0c;…

杭州小紅書代運營公司-品融電商:全域增長策略的實踐者

杭州小紅書代運營公司-品融電商&#xff1a;全域增長策略的實踐者 在品牌競爭日趨激烈的電商領域&#xff0c;杭州品融電商作為一家專注于品牌化全域運營的服務商&#xff0c;憑借其“效品合一”方法論與行業領先的小紅書代運營能力&#xff0c;已成為眾多品牌實現市場突圍的重…

【映客直播-注冊/登錄安全分析報告】

前言 由于網站注冊入口容易被黑客攻擊&#xff0c;存在如下安全問題&#xff1a; 暴力破解密碼&#xff0c;造成用戶信息泄露短信盜刷的安全問題&#xff0c;影響業務及導致用戶投訴帶來經濟損失&#xff0c;尤其是后付費客戶&#xff0c;風險巨大&#xff0c;造成虧損無底洞…

Android audio_policy_configuration.xml加載流程

目錄 一、audio_policy_configuration.xml文件被加載流程 1、AudioPolicyService 創建階段 2、createAudioPolicyManager 實現 3、AudioPolicyManager 構造 4、配置文件解析 loadConfig 5、核心解析邏輯 PolicySerializer::deserialize 二、AudioPolicyConfig類解析 1、…

使用 Docker 安裝 Elastic Stack 并重置本地密碼

Elastic Stack&#xff08;也被稱為 ELK Stack&#xff09;是一個非常強大的工具套件&#xff0c;用于實時搜索、分析和可視化大量數據。Elastic Stack 包括 Elasticsearch、Logstash、Kibana 等組件。本文將展示如何使用 Docker 安裝 Elasticsearch 并重置本地用戶密碼。 ###…

Unitest和pytest使用方法

unittest 是 Python 自帶的單元測試框架&#xff0c;用于編寫和運行可重復的測試用例。它的核心思想是通過斷言&#xff08;assertions&#xff09;驗證代碼的行為是否符合預期。以下是 unittest 的基本使用方法&#xff1a; 1. 基本結構 1.1 創建測試類 繼承 unittest.TestC…

git 版本提交規范

Git 提交規范&#xff08;Git Commit Message Convention&#xff09;是為了讓項目的提交歷史更加清晰、可讀、便于追蹤和自動化工具解析。常見的規范之一是 Conventional Commits&#xff0c;下面是一個推薦的格式規范&#xff1a; &#x1f31f; 提交信息格式&#xff08;Con…

stat判斷路徑

int stat(const char *pathname, struct stat *buf); pathname&#xff1a;用于指定一個需要查看屬性的文件路徑。 buf&#xff1a;struct stat 類型指針&#xff0c;用于指向一個 struct stat 結構體變量。調用 stat 函數的時候需要傳入一個 struct stat 變量的指針&#xff0…

學習Docker遇到的問題

目錄 1、拉取hello-world鏡像報錯 1. 檢查網絡連接 排查: 2. 配置 Docker 鏡像加速器(推薦) 具體解決步驟: 1.在服務器上創建并修改配置文件,添加Docker鏡像加速器地址: 2. 重啟Docker 3. 拉取hello-world鏡像 2、刪除鏡像出現異常 3、 容器內部不能運行ping命令 …

安寶特案例 | AR如何大幅提升IC封裝廠檢測效率?

前言&#xff1a;如何提升IC封裝廠檢測效率&#xff1f; 在現代電子產品的制造過程中&#xff0c;IC封裝作為核心環節&#xff0c;涉及到復雜處理流程和嚴格質量檢測。這是一家專注于IC封裝的廠商&#xff0c;負責將來自IC制造商的晶圓進行保護、散熱和導通處理。整個制程繁瑣…

【Linux網絡與網絡編程】07.應用層協議HTTPS

HTTP 協議內容都是按照文本的方式明文傳輸的&#xff0c;這就導致在傳輸過程中出現一些被篡改的情況。HTTPS 就是在 HTTP 協議的基礎上引入了一個加密層的應用層協議。 1. 基礎概念 1.1 加密與解密 加密就是把明文&#xff08;要傳輸的信息&#xff09;進行一系列變換&#x…

【k8s】PV,PVC的回收策略——return、recycle、delete

PV 和 PVC 的回收策略主要用于管理存儲資源的生命周期&#xff0c;特別是當 PVC 被刪除時&#xff0c;PV 的處理方式。回收策略決定了 PV 在 PVC 被刪除后的行為。 回收策略的類型 Kubernetes 提供了三種主要的回收策略&#xff0c;用于管理 PV 的生命周期&#xff1a; Reta…

2023藍帽杯初賽內存取證-2

直接使用mimikatz插件來獲取用戶密碼&#xff1a; vol.py --plugin/opt/volatility/plugins -f memdump.mem --profile Win7SP1x64 mimikatz 答案&#xff1a;3w.qax.com