項目地址：RoboGSim

背景簡介

????????已有的數據采集方法中，遙操作（下左）是數據質量高，但采集成本高、效率低下；傳統仿真流程成本低（下右），但真實度（如紋理、物理）欠佳，質量低；為了兼顧成本效率和數據真實性質量，本工作提出RoboGSim（上圖），它是一個高效、低成本的仿真平臺，具有高保真渲染能力。它通過新場景、新物體和新視角實現演示合成，從而促進Policy學習的數據擴展。此外，它能夠執行閉環模擬仿真，以便對不同policy模型進行安全、公平和現實的評估。兼具低成本、高真實度的優勢。

方法介紹

RoboGSim由四個模塊組成：Gaussian Reconstructor, Digital Twins Builder, Scene Composer, 和 Interactive Engine，流程如下圖所示：

Gaussian Reconstructor

????????本方法采用3DGS方法重建靜態場景，然后對機器人手臂的關節進行點云分割。隨后，我們利用MDH動態模型控制對應于每個關節的點云，從而實現機器手臂的動態渲染。3DGS利用一組多視角圖像作為輸入，以實現高保真場景重建。其將場景表示為一組高斯分布，并利用可微分光柵化渲染方法來實現實時渲染，能獲得非常逼真的渲染圖像。

Digital Twins Builder

????????通過 Real2Sim 布局對齊和 Sim2GS 稀疏關鍵點對齊可以數字化現實世界，使數字資產在現實、模擬和 GS 表現之間保持一致。

????????3D Assets Generation: 現實世界的物體采用COLMAP+3DGS進行重建，網絡上的物體則使用Wonder3D+GaussianEditor進行重建；

????????Layout Alignment: 使用測量和幾何的方法將重建3DGS場景與仿真器isaac-sim中的布局進行對齊

Scene Composer? ? ?

????????場景編輯：基于相機和手臂之間的內外參，將場景轉換到機械臂所在的坐標系；

????????對象編輯：使用上述同樣的方法將操作對象轉換到機械臂坐標系。

Interactive Engine

????????Synthesizer：使用引擎生成大量的訓練軌跡，包括機械臂的運動和目標物體的軌跡。這些軌跡驅動3DGS生成大量的逼真模擬數據集，用于Policy學習。這些多樣化的數據包括新穎視角的渲染、場景組合和物體替換。

????????Evaluator：Isaac Sim 輸出物體和機械臂的狀態，GS據此進行渲染。渲染圖像被送入Policy網絡預測下一幀動作，該動作被傳遞給仿真系統進行運動學逆向解析、碰撞檢測和其他物理交互。Isaac Sim再將解析出的六軸相對姿態發送給GS渲染器，后者將渲染結果作為反饋發送回策略網絡。這作為預測下一動作的視覺反饋，整個過程不斷迭代，直到任務完成。

實驗驗證：從數據合成驗證到閉環仿真

Real2Sim Novel Pose Synthesis

該實驗目標是驗證Real2Sim重建的性能，特別關注機器人手臂運動的準確性和圖像紋理的保真度。靜態場景是使用來自GT第一幀的機器人手臂初始姿勢重建的。從真實機器人手臂收集的軌跡被用作驅動力，我們采用運動控制進行新姿態的渲染。RoboGSim 實現了31.3 PSNR和0.79SSIM的渲染性能，同時保證了10 FPS的實時效率。

Sim2Real Trajectory Replay

該實驗中軌跡是通過Issac Sim收集的，然后該軌跡用于驅動GS渲染取可樂的場景，同一軌跡用于驅動真實機器抓取可樂罐。如上比較結果表明模擬policy與機械臂的實際物理行為之間存在強一致性，突顯了本系統中Sim2Real轉移的有效性。這些結果表明，我們的仿真能夠可靠地模擬現實世界的動態，促進從仿真到現實世界的成功策略轉移。

RoboGSim as Synthesizer

本實驗是為了驗證RoboGSim合成數據的有效性，在真實世界和RoboGSim環境中各采集了1000條數據，前者耗時40h，后者僅耗時4h，然后用來訓練自研VLA，上表中展示了兩者的成功率，從中可以看出，純仿真數據訓練后的VLA在真實環境中具有一定的成功率，具有明顯效果。

RoboGSim as Evaluator

本實驗主要探討將RoboGSim作為Evaluator的有效性。給定經過訓練的VLA，將其部署于真實世界的機器人和RoboGSim中，RoboGSim能夠再現與真實世界相似結果。對于類似糟糕案例，也能夠避免真實世界中存在的問題，如碰撞。因此， RoboGSim作為評估器為policy提供了一個公平、安全和高效的評估平臺。

結論

基于3DGS和IsaacSim的Real2Sim2Real仿真能高效合成高質量數據，目前成功率雖不及實采數據，但因其成本低和效率高，合成大量數據后有望達到實采數據的成功率，為通用操作大模型驗證了一條可行路徑。