我們構建了一個基于 Quest 3 的 VR 遙操系統，該系統能夠同時支持 DISCOVERSE 仿真環境與 MMK2 真機的操控，實現了從虛擬環境到真實機器人系統的無縫對接。 ? 基于 VR 實現的遙操系統具有良好的擴展性和便攜性，為多場景應用提供了靈活的操作方式。 ? 該 VR 遠程操控系統可用于在 DISCOVERSE 仿真環境和 MMK2 真機采集數據，并將采集到 的數據作為模仿學習中的示教數據，從而提升機器人學習與控制的效率——羅凱駿、劉子聿、馮儒

一、研究背景

? 基于learning的方法在機器人領域引發了變革，顯著提高了機器人在移動、操縱等方面的能力。 近期研究進一步推動了多模態學習以及預訓練模型的高效微調等任務。而這些研究的核心需求 是收集示教數據，以支持模型訓練和優化。

? 通過遙操可以收集示教數據，并提供流暢的軌跡數據，使學習到的策略能夠推廣到新的環境和任 務中。因此當下遙操一種收集數據的重要手段

二、目前主流方法

外骨骼：需要一個從臂來控制主臂，成本高，通用性較差且不便移動

手柄：操作復雜，上手難度較高

以上方法都有兩個明顯缺陷： 1. 操作者和真機必須在同一地點，不支持遠程操作 2. 操作者與機器人的觀測不同，難以支持第一人稱視角，操作者很難確保 采集到需要的corner case數據

VR ：VR開發靈活，可以適配多機器人平臺，易于拓展 VR遙操作方案無需穿戴外骨骼等設備，安全且低成本 VR遙操以第一人稱采集示教數據，更容易確保示教數據的質量

三、研究思路

基于DISCOVERSE仿真環境及真機，使用VR遙操作采集數據，并訓練ACT算法

使用quest3在DISCOVERSE中采集仿真器數據

使用quest3在mmk2真機上遙操采集數據

混合模擬環境自動生成和VR遙操采集數據訓練

在仿真環境以及真機上驗證模型的性能

四、VR遙操技術方案

VR遙操實現 使用ROS-TCP-Endpoint與ROS-TCP-Connector實現VR、仿真器 和真機之間的網絡連接；同時通過開發Unity程序進行圖傳，實 時展示VR遙操的效果。 通過ROS-TCP-Endpoint和ROS-TCP-Connector建立連接，可以實 時發送與接收ROS2中的話題，同時我們通過話題的實現圖傳與 VR數據的傳輸。 對于機器人底盤的移動以及平臺的升降，我們使用Quest 3 手柄 的搖桿實現；夾爪的開閉通過手柄上的按鍵實現；最后機械臂 的移動通過獲取手柄的末端位姿，并通過IK結算得到機械臂對應的關節角實現。

五、后續工作

? VR 遠程操控系統已成功實現對夾爪、脊柱及底盤的遙操，但在手臂部分仍存在一定問題。 鑒于當前的操縱任務相對簡單，系統未涉及復雜的超限問題的處理。然而，為了進一步提 升系統的可靠性與魯棒性，該問題仍需深入研究與解決。

? 設計數據采集和實驗方案，采集真機與仿真數據進行訓練，從中對比模型的效果，為后續 優化提供思路。