物理AI的新時代

通用人形機器人專為快速適應現有的以人類為中心的城市和工業工作空間而構建，用以承擔枯燥、重復性或對體力要求高的工作任務。這些機器人正在從工廠車間走向醫療健康機構，通過自動化幫助人類工作，緩解勞動力短缺問題。

但是，構建人形機器人涉及多層復雜性并面臨艱巨的工程挑戰。這些挑戰涵蓋模擬人類的感知、自由度、靈巧性、移動性、認知功能和全身協調控制等方面。

這需要加快機器人研究領域和技術的發展，推動人工智能 (AI)、機器學習、基于物理仿真、傳感器技術和機電一體化等關鍵技術的突破。

技術運用-推進人形機器人開發

NVIDIA正在開發加速系統、blueprints、工具、服務、算法和其他機器人技術，以構建符合人類形態規格的通用機器人。

三臺計算機解決方案

人形機器人需具備在特定環境中自主感知、規劃與行動的能力，這要求其能實時處理海量數據。這需要訓練支撐機器人大腦的基礎模型，對機器人大腦進行模擬和驗證，并最終將優化后的大腦和相關軟件部署到實體機器人上。?

這三種 AI 系統為：?

• 一臺 NVIDIA AI 超級計算機— NVIDIA DGX? 搭載 NVIDIA H100 或 B100 處理器—用于訓練強大的生成式 AI 模型和機器人基礎模型。?

• 一臺 NVIDIA OVX? 計算機，搭載 NVIDIA RTX?GPU，用于合成數據生成、機器學習和仿真測試以及基于 NVIDIA Omniverse?構建的仿真框架，比如 NVIDIA Isaac Sim?and Isaac?Lab。?

• 一臺安裝在機器人本體上的實時計算機，比如NVIDIA Jetson Thor?— 構建于NVIDIA’s Blackwell架構之上—可以運行低延遲和高吞吐量推理。

NVIDIA Isaac GR00T

GR00T是一個專注于通用機器人基礎模型和數據工作流的研究計劃和開發平臺，可加速人形機器人開發進程。

機器人基礎模型

人形機器人需要不同的技能來完成各種任務，傳統上需要單獨的、昂貴的 AI 模型。機器人基礎模型通過基于廣泛數據進行訓練、開發通用技能來解決這一問題。這使得機器人能夠適應不同的任務和環境。

NVIDIA Isaac GR00T N是全球首個用于通用人形機器人推理和技能的開源基礎模型。這種跨具身本體模型接受包括語言和圖像在內的多模態輸入，在不同環境中執行操作任務。GR00T N基于龐大的人形數據集上訓練，該數據集由真實捕獲的數據、使用NVIDIA Isaac GR00T-Mimic blueprint組件生成的合成數據和互聯網級視頻數據組成。它可以通過后訓練針對特定實施、任務和環境進行調整。

機器人學習和仿真框架

仿真對于開發者來說至關重要，在將人形機器人部署到現實世界中之前，能夠在各種物理精確的環境和條件下對其進行訓練。

機器人學習和仿真框架，比如NVIDIA Isaac Sim 和 NVIDIA Isaac Lab—基于 Omniverse平臺構建 — 實現物理精確仿真，以并行訓練和驗證多個人形機器人智能體。?

Isaac Lab是一個基于Isaac Sim構建的開源統一機器人學習框架，為機器人策略訓練提供高效的學習技術支持。然后，訓練后的機器人策略可以在Isaac Sim中進行驗證Isaac Sim是一個基于物理的虛擬環境平臺，專用于構建、模擬和測試人形機器人參考應用。

GR00T工作流

數據生成和處理

收集大量高質量的真實數據集可能極具挑戰性，成本高昂且耗時。基于物理精確仿真生成的合成數據可以加速數據收集，并提供泛化機器人學習模型所需的多樣性，從而應對這一挑戰。

NVIDIA Isaac GR00T-Dreams blueprint幫助生成大量合成運動，可以教會機器人新的行為以及如何適應不斷變化的環境。

開發人員可以先為他們的機器人進行Cosmos Predict 2世界基礎模型 (WFM) 的后訓練。然后，使用單張圖片作為輸入，GR00T-Dreams可以幫助生成機器人在新環境中執行新任務的多個視頻。之后，該 blueprint 會提取動作 token—這些經過壓縮、易于理解的數據片段，用于教導機器人如何執行這些新任務。

GR00T-Dreams blueprint是對Isaac GR00T-Mimic blueprint的補充。GR00T-Mimic使用NVIDIA Omniverse和Cosmos增強現有數據，而GR00T-Dreams則使用 Cosmos生成全新數據。

靈巧操作

人形機器人抓取功能需具備類似人類的靈巧操作技能，能夠同時執行粗略抓取和精細操作任務。GR00T-Dexterity是一套基于強化學習的全面模型和策略框架，通過與參考工作流深度結合，可實現這些高級靈巧功能的開發。

移動性

在復雜且動態環境中實現通用導航功能需要進行大量廣泛調整。借助GR00T-Mobility 參考工作流，您可以構建一個通用移動工作流，可在不同設置和機器人具身之間實現無縫導航。

全身控制

在人形機器人中實現全身控制具有挑戰性，需同時滿足穩定操作和強勁運動要求。GR00T-Control通過一整套先進運動規劃和控制模型、策略和參考工作流來解決這一問題，從而簡化高效控制系統的開發。

通過使用模仿學習和遠程操作數據集，GR00T-Control有助于訓練強大的全身運動策略，從而使人形機器人能夠學習靈巧的操作和運動技能。

基于AI的機器人感知

為了提高態勢感知和交互效率，人形機器人需具備長期記憶，對事件、空間、個性化設置和上下文感知做出精確響應。?

GR00T-Perception借助基于 Isaac Sim 和 Isaac ROS構建的強大感知庫、基礎模型和參考工作流實現這一目標。這些工具集成了視覺語言模型和檢索增強內存等先進技術，能提升人形機器人的感知、認知和適應能力。

新一代機器人本機計算平臺

機器人硬件對于運行多模態 AI 模型集群也至關重要，這些模型可在不同條件下為人形機器人提供所需的性能、低延遲和功能安全保障。?

基于NVIDIA Blackwell GPU架構的NVIDIA Jetson AGX Thor可提供卓越AI計算性能并搭載新型Transformer引擎。這為邊緣計算提供必要的AI超級能力，從而實現新一代人形機器人開發。