在工業制造、危險環境作業等領域，機器人遠程操作技術是突破人類作業邊界的關鍵手段。傳統遠程操作依賴2D 相機反饋與操縱桿控制，存在空間感知差、操作精度低、沉浸感弱等問題，難以滿足復雜移動操作任務需求。

例如在核設施退役、災后救援等場景中，操作員無法精準判斷機器人與障礙物的相對位置，易導致操作失誤。

針對這一痛點，研究人員以Franka Research 3機器人為核心實驗載體，提出 “高斯濺射 + VR” 融合的雙階段遠程操作框架。該框架通過高斯濺射技術構建高保真3D 環境模型，結合VR設備實現沉浸式交互，同時設計 “導航 - 操作” 雙階段工作流程，解決傳統系統在遮擋處理、空間連貫性、操作直觀性上的缺陷。

最終通過實驗驗證，該框架能使66%的操作者完成任務時間平均縮短43%，93%的操作者更偏好該操作模式，顯著提升遠程操作的效率與可靠性。

圖 1：本圖展示了我們所提出框架的一個應用示例。左側為通過高斯濺射（Gaussian splattering）技術重建的機器人及場景的虛擬現實呈現；右側為安裝在移動基座上的實體機器人在實際環境中執行操作階段的狀態。

研究核心亮點

高斯濺射3D 環境重建：通過 “多視角圖像采集→SfM 算法特征計算與姿態估計→神經渲染訓練高斯模型” 流程，生成含位置、顏色、透明度參數的高保真 3D 場景，有效處理遮擋問題，支持 VR 環境內自由調整視角，提升空間感知能力。

圖?2：Splat?界面，顯示了疊加在顯示屏上的兩個攝像頭視圖。實際處于虛擬現實（VR）環境中的用戶，看到的是疊加在物體上方的靜態?Splat（而非物體本身），并且能夠對?VR?中顯示的操縱器末端執行器（End Effector）進行操作。

雙階段遠程操作邏輯：導航階段用2D 相機視頻流 + VR 控制器速度指令，控制移動基座精準定位；操作階段通過 VR 界面直接拖動虛擬機械臂末端，實時同步真實 Franka 機械臂運動，兼顧移動效率與操作精度。

跨平臺適配架構：基于Unity+ROS+TCP 通信，支持 URDF 模型導入，僅需修改 ROS 話題與關節參數，即可適配不同型號機械臂，降低技術遷移成本。

實驗配置

• 核心機器人：Franka Research 3機械臂，負責完成按鈕按壓、精細抓取等操作任務；搭配 Robotnik Summit-XL移動基座，提供長距離移動能力。

• 視覺采集設備：Intel RealSense D435F RGB-D相機，安裝于機械臂末端，用于采集場景圖像以生成高斯濺射模型，同時提供真實場景視頻反饋。

• 交互與計算設備：Meta Quest 2 VR頭顯，提供沉浸式操作界面；Intel NUC作為控制中樞，連接相機、機械臂與基座；搭載NVIDIA RTX 3090 GPU的計算機，運行Unity引擎與高斯濺射模型訓練算法。

軟件系統

操作系統與中間件：機器人端采用Ubuntu 20.04系統，部署ROS Noetic實現設備通信與指令調度；VR交互端基于Windows 10系統，運行Unity 2022.3構建VR 交互界面。

算法庫：集成OpenCV預處理圖像，COLMAP實現SfM計算，自定義PyTorch框架模塊訓練高斯濺射模型，保障3D重建與實時渲染效率。

實驗設計與驗證

遮擋環境按鈕操作：實驗臺放置?Household?物品遮擋目標按鈕，模擬工業場景視線受阻任務；操作員先通過導航階段定位至實驗臺，再用?VR +?高斯濺射模型控制機械臂繞過遮擋按壓按鈕。

圖3：本圖展示了第一個操作場景的設置情況：在雜亂環境中，機器人需觸達某一按鈕。該按鈕安裝在一個基座上，此基座會遮擋機器人攝像頭的視野。

動態障礙燈光激活：實驗區域擺放帶頂部燈光的錐形障礙，操作員控制機器人在障礙間導航，到達目標后按壓按鈕激活燈光，驗證“導航?-?操作”?流程連貫性。

圖?4：操作員使用我們的遙操作框架執行兩項局部操作任務的演示。（a）至（c）圖展示機器人向目標位置導航，并成功觸達按鈕且無任何碰撞；（d）至（f）圖呈現操作員通過該框架靠近每個椎體，通過與椎體交互激活其頂部安裝的指示燈。

驗證方法

用戶研究：選取?15?名操作員（含?5?名?VR?經驗者、10?名無經驗者），對比傳統?“雙相機?+?操縱桿”?與本框架的任務完成時間、精度，通過?7?分量表評估易用性、沉浸感等指標。

實物驗證：在真實場景中重復任務?10?次，記錄機械臂操作成功率、碰撞發生率，驗證框架穩定性。

圖5：用戶研究中量表問題的結果，該研究用于評估兩種界面的可用性與直觀性。研究采用 7 分量表，其中 1 分代表 “強烈不同意”，7 分代表 “強烈同意”。

關鍵成果與突破

突破空間感知瓶頸：高斯濺射+VR解決2D反饋的平面化缺陷，遮擋場景操作精度提升40%以上，降低操作認知負荷，推動遠程操作向低門檻化發展。

建立一體化控制范式：雙階段流程實現“高效移動 - 精準操作” 閉環，適配倉儲分揀、設備維護等場景；跨平臺架構降低企業技術升級成本，助力產業化應用。

拓展應用邊界：可用于核輻射、化工等危險環境無人作業，未來結合動態重建技術可適配流水線等動態場景，為醫療遠程手術等領域提供技術支撐。

結語

研究人員以Franka Research 3為載體，研發的 “高斯濺射 + VR” 遠程操作框架，從技術上解決傳統系統的核心痛點，經實驗驗證具備效率、精度與易用性優勢。

未來將聚焦三方向優化：一是突破SfM 限制，提升高斯模型生成速度以適配動態場景；二是引入 AI 輔助決策，提供操作路徑推薦；三是拓展多機器人協同功能，滿足大型場景聯動需求。該框架不僅為機器人遠程操作提供新路徑，也為工業自動化、危險環境作業等領域技術升級奠定基礎。

論文詳情：https://arxiv.org/pdf/2504.15229