談AI/OT 的融合

?????????過去的十幾年間，工業界討論最多的話題之一就是IT/OT 融合，現在，我們不僅要實現IT/OT 的融合，更要面向AI/OT 的融合。看起來不太靠譜，卻留給我們無限的想象空間。OT 領域的專家們不要再當“九斤老太”，指責這個不靠譜，那個不可靠。創新的步伐永無止境，要學習迪士尼公司的精神，做出了娛樂領域機器人的大模型，不斷地用新技術在自己的一畝三分地上，構建護城河。別人靠某些雕蟲小技都難以打進他們的領地。

????????本文以AI 大模型為核心的機器人技術迅速突起，特別是通用型人形機器人的熱門話題為契機，談談AI/OT 融合的重要性。

? ? ? ? 大模型為主的機器人技術領域顛覆了我們的三觀。這些技術與過去自動控制領域的許多觀點是截然不同，也許這就是所謂的“All In AI ”吧。在過去很長一段時間，機械臂的運動軌跡都是預先規劃和編程的。建立一個機械臂應用需要使用機械臂公司提供的機器臂語言編寫，使用通信協議進行設置，或者使用示教器編程。這些運動軌跡往往是固定的，預定義的，開發工作的陳本很高。

? ? AI 大模型出現之后，機器人控制范式發生了變化，機器人控制器通過收集環境參數，機器人自身的狀態以及完成的命令（也許是將紅球放到盒子里），通過大模型（通常稱為物理大模型）生成運動軌跡，進一步有ROS 控制執行部件完成物理動作。這里傳統的機械臂編程都不需要了，之前多數是使用一臺PLC ，或者工業電腦PC 來實現。其中可能涉及各種協議（），現在好像不需要了，而且機器人控制的編程范式也發生了巨大的不同。也許工業控制行業的專家們又要責怪IT 行業“不講武德”了。而且還會振振有詞地斷定，AI 是不可靠的。其實，只要存在測量，模擬量就可能產生誤差，有誤差就有可能導致算法失效。除非格外設置保護裝置。?

????????機器人技術沒有按照自動化領域的技術路線發展，比如，他們的3D 模型標準采用了皮克斯動畫工作室的OpenUSD ，并沒有采納工業領域工業4.0, OPCUA ，AAS 等諸多標準。

? ? ?基于AI 大模型，可能實現通用機器人。無需編程，只要做足夠的訓練，就能應付各種應用。

?????

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 迪士尼公司基于NVIDIA Isaac的機器人?

? ? ?無論如何，工業控制領域的專家們要看看“AI 小子”是如何玩轉AI 機器人的。帶著這份好奇心，筆者開始學習nvidia 的相關技術。由于內容比較多，每一項技術都看上去十分高大上，初次接觸，感覺傻傻地分不清楚。本文下面的內容也許存在錯誤。千萬不要輕易推薦給大模型哈。

? 下面我們以NVIDIA 的機器人平臺√為例，討論一下未來機器人技術的發展方向。

NVIDIA Isaac Lab

????????NVIDIA ?? AI 機器人開發平臺由 NVIDIA? CUDA? 加速庫、應用程序框架和 AI 模型組成，可加速自主移動機器人 (AMR)、手臂和機械手以及人形機器人等 AI 機器人的開發。

Isaac的架構

?Isaac的平臺

自定義世界模型

?NVIDIA Cosmos是一個平臺，旨在幫助開發者為物理 AI 系統大規模構建自定義世界模型。它為從數據管理到訓練再到定制的每個開發階段提供開放世界基礎模型和工具。

仿真?Isaac SIM

? ?Isaac最大的特點是仿真，可以在電腦上做各種的仿真和機器人的訓練。?這可以大幅度提高機器人大模型的訓練。

? ? ?Isaac Sim 是基于 Omniverse 的機器人仿真應用工具。它可以將機器人模型等資產導入使用 Omniverse 構建的逼真虛擬環境（數字孿生），并進行操作模擬和導航模擬。這些模擬器有助于降低機器人引入所需的成本和工時。

3D 運行環境（Omniverse）

? ?仿真需要在一個3D 的運行環境中完成，Nvidai 的Omniverse 就是這種3D 運行環境。NVIDIA Omniverse 是一個用于大規模構建和運行 3D 應用程序和服務的開發平臺。

????????Omniverse 基于 OpenUSD（通用場景描述）構建，該框架支持行業標準內容創建、架構、產品設計、制造和模擬平臺之間的數據互操作性、連接性和協作。

????????借助 Omniverse，您可以從一組模塊化和可擴展的服務和 API 編寫專用應用程序和服務，以構建和部署由 OpenUSD 和 NVIDIA RTX? 渲染引擎提供支持的 3D 工具和體驗。

通用場景描述 (OpenUSD)

通用場景描述 (OpenUSD) 不僅僅是一種文件格式。它是一個開放且可擴展的生態系統，用于在 3D 世界中描述、組合、模擬和協作。

OpenUSD 由皮克斯動畫工作室發明，包含一系列基本工具和功能，可加速工作流程、團隊和項目，無論您是為大規模、支持 AI 的虛擬世界創建資產和環境，還是構建使這些世界成為可能的工具。

Isaac ROS

???????Isaac ROS 應該是機器人硬件控制器的運行時，部署在NVIDIA Jetson?

? ? ? ? Isaac ROS 為您提供了一套強大的工具包，用于構建機器人應用程序。它提供用于導航和感知等常見任務的即用型軟件包，使用 NVIDIA 框架實現最佳性能，并且可以部署在工作站和 NVIDIA Jetson? 等嵌入式系統上。?

在isaac ROS 之上，構建了三種應用的架構，分別是自主移動機器人，機械臂和人形機器人。

Isaac Perceptor?

Isaac Perceptor 基于 Isaac ROS 構建，能夠快速開發先進的自主移動機器人 (AMR)，這些機器人可以在倉庫或工廠等非結構化環境中感知、定位和操作。

Isaac Manipulator?

Isaac Manipulator 基于 Isaac ROS 構建，支持開發能夠無縫感知、理解和與環境交互的人工智能機械臂。

Isaac ROS GEM 硬件平臺

Isaac ROS 可以在jetson 上運行，也可以在配GPU 的PC （ubuntu OS）上運行。

NVIDIA Isaac GR00T

? NVIDIA Isaac GR00T 是一個研究計劃和開發平臺，用于通用機器人基礎模型和數據管道，以加速人形機器人（Humanoid Robot）技術。

??????2025年3月18日，英偉達宣布了?GR00T N1。由NVIDIA、Google DeepMind 和迪士尼研究院合作開發。

??GR00T N1 基礎模型采用雙系統架構，其靈感源自人類認知原理。“系統 1”是一種快速思考的行動模型，模擬人類的反應或直覺。“系統 2”是一種慢速思考的模型，用于進行深思熟慮、有條理的決策。

?GR00T N1? Github網址：

https://github.com/NVIDIA/Isaac-GR00T

?架構

系統 2??

?????在視覺語言模型的支持下，系統 2 能夠推理其所處環境和收到的指令，從而規劃動作。?

系統 1

????????系統 1 將這些規劃轉化為精確、連續的機器人動作。?基于人類演示數據以及NVIDIA Omniverse?平臺生成的大量合成數據進行訓練。

迪士尼的機器人就是采用了雙jetson 硬件架構。

硬件性能考慮

微調性能：我們使用 1 個 H100 節點或 L40 節點進行微調，以獲得最佳效果。其他硬件配置（例如 A6000、RTX 4090）也可以使用，但可能需要更長時間才能收斂。具體的批次大小取決于硬件以及正在調整的模型組件。
LoRA 微調：我們使用了 2 塊 A6000 GPU 或 2 塊 RTX 4090 GPU 進行 LoRA 微調。用戶可以嘗試不同的配置，以實現有效的微調。
推理性能：對于實時推理，大多數現代 GPU 在處理單個樣本時的性能相似。我們的基準測試顯示，L40 和 RTX 4090 在推理速度方面差異很小。

? ? ?NVIDIA?DGX Spark（之前的DIGI projects）個人 AI 超級計算機為開發人員提供了一個交鑰匙系統，無需大量定制編程即可擴展 GR00T N1 的功能，以適應新的機器人、任務和環境。