中文標題： 面向新一代擴展現實（XR）應用的物聯網框架
英文標題： Towards an IoT Framework for the New Generation of XR Applications

作者信息

• Jo?o A. Dias，UNIDCOM - IADE，歐洲大學，里斯本，葡萄牙，郵箱：joao.alfredo.dias@universidadeeuropeia.pt

• Nathan P. Campos，IADE，歐洲大學，里斯本，葡萄牙

• Miguel Boavida，IADE，歐洲大學，里斯本，葡萄牙

論文出處

本文發表于《IEEE Access》，DOI: 10.1109/ACCESS.2024.0429000。

---

摘要

近年來，擴展現實（XR）技術在工業和學術界引起了廣泛關注，尤其是在開發創意和沉浸式應用方面。然而，許多XR應用仍然依賴于傳統的輸入設備（如鼠標、觸摸屏或游戲控制器）和輸出設備（如屏幕或投影儀）。隨著物聯網（IoT）解決方案的普及，將這些設備集成到新一代創意應用中成為可能。然而，這種集成通常成本高昂且需要大量定制開發。本文旨在填補這一空白，提出一個框架，使開發者能夠利用IoT設備創建數字孿生或作為應用的輸入和輸出設備，從而為軟件開發開辟新的可能性。研究中提出了一個框架，用于將任何IoT設備集成到新一代XR應用中，并詳細設計了一種IoT設備配對方案，使其能夠自動與客戶端可靠匹配。通過使用行業標準的IoT通信協議MQTT進行性能研究，證明了該框架在為無線輸入設備提供低延遲通信方面的可行性。

引言

擴展現實（XR）技術涵蓋了虛擬現實（VR）、增強現實（AR）和混合現實（MR），通過計算機生成的環境讓用戶同時與虛擬和現實世界互動。盡管XR技術取得了顯著進展，但仍然面臨一些挑戰，例如設備重量、視野限制和硬件限制等問題。物聯網（IoT）設備和網絡的集成可以解決這些問題，通過實時數據交換增強XR體驗。然而，目前這種集成通常是逐案進行的，通常涉及云解決方案作為中介，缺乏標準化的框架。本文提出了一個框架，支持新一代XR應用，利用過去幾十年的創新和IoT設備集成帶來的可能性，彌合虛擬和物理世界之間的聯系。

背景與相關工作

擴展現實

擴展現實（XR）是一個涵蓋多種技術的術語，旨在擴展物理現實，例如通過在物理空間上疊加虛擬對象或完全替換它們。近年來，XR技術在創意應用領域取得了快速發展，尤其是在VR和AR眼鏡方面。這些技術的發展推動了相關硬件、配件和新方法的研究，以擴展這些設備的能力。

1. 增強現實（AR）：AR技術允許用戶在現實世界中與虛擬對象互動，通過智能手機等設備的傳感器和算法實現。AR技術的一個重要應用是通過移動設備在現實場景中疊加虛擬3D對象，廣泛應用于廣告、視頻制作等領域。

2. 虛擬現實（VR）：VR技術通過頭戴式顯示器（HMD）讓用戶完全沉浸在虛擬環境中，與周圍環境隔離。VR技術的發展使得開發者可以更簡單地開發體驗，因為不需要依賴外部輸入，只需依賴頭顯中的運動傳感器和控制器。

3. 混合現實（MR）：MR技術結合了VR和AR的特點，允許用戶在虛擬和現實內容之間無縫切換，同時感知物理空間。

物聯網（IoT）

IoT是一個由傳感器、嵌入式軟件和執行器組成的物理設備網絡，能夠通過互聯網連接和交換數據。IoT的主要目標是通過實時數據收集和自動化控制優化流程，提高效率和用戶體驗。IoT技術為創意技術中的藝術和設計表達提供了新的可能性，使開發者能夠創建模糊數字和物理世界邊界的交互式裝置和環境。

1. IoT協議：IoT領域有許多通信協議，包括HTTP、MQTT和CoAP。其中，MQTT是一種輕量級協議，專為IoT應用設計，廣泛用于資源受限的設備。CoAP是一種現代輕量級協議，旨在填補HTTP和資源受限應用之間的差距。

混合方法

研究人員已經開發出多種方法，將XR和IoT技術結合起來，創造更沉浸式的體驗。例如，通過將IoT設備與XR應用集成，可以實現更自然的交互和更豐富的用戶體驗。然而，這種集成通常需要定制開發，增加了開發成本和復雜性。

提出的框架

本文提出的框架旨在為XR和IoT的集成提供標準化解決方案，使開發者能夠輕松地將IoT設備集成到XR應用中。框架的核心組件包括：

1. 應用：開發者編寫的XR應用，使用高級語言和網絡通信庫。

2. 客戶端：運行XR應用的設備，如計算機、VR頭顯或移動設備。

3. 個性：IoT設備上的可測量值或可操作值，如傳感器數據或執行器狀態。

4. 節點：作為輸入、輸出或兩者的IoT模塊。

5. 中介：負責動態分配MQTT主題，使節點和客戶端能夠自動配對。

6. 代理：MQTT代理，負責在客戶端和節點之間中繼信息。

系統架構

框架的架構設計旨在最大化擴展性和靈活性，支持多種設備和場景。圖7展示了系統架構，包括單個節點和客戶端之間的交互。框架使用HTTP進行初始設置和配對，使用MQTT進行運行時通信。為了減少延遲，嵌入式設備的固件應保持簡潔，將復雜處理任務交給客戶端。

通信和配對機制

由于MQTT協議不支持客戶端之間的主題協商，框架引入了中介來動態分配主題。中介允許節點在啟動時發現服務器地址，并自動與客戶端配對。配對過程類似于無線游戲控制器的配對，確保節點和客戶端能夠自動匹配，無需預配置信息。

框架性能評估

框架的性能評估主要關注MQTT協議在分布式環境中的表現，特別是在低延遲和高吞吐量方面。評估的目標是確定框架是否適用于需要低延遲輸入設備的XR應用。

測試方法

測試使用了Python腳本作為發布者，Unity 3D應用作為訂閱者，通過MQTT協議進行通信。測試環境包括模擬場景（虛擬機和主機）和真實場景（IoT設備和VR頭顯）。測試指標包括延遲（往返時間）和TCP吞吐量。

測試結果

1. 模擬環境：

   • 在模擬環境中，使用ping和netperf工具測量了網絡的基線性能，結果顯示平均往返延遲為0.416毫秒，TCP吞吐量為2591次/秒。

   • 在無延遲的單發布者測試中，Unity在高頻率更新UI時變得無響應，但后臺處理消息時表現正常。測試結果顯示，MQTT協議在無延遲情況下能夠實現極低的延遲（約1毫秒），適合用作游戲控制器。

   • 在使用不同QoS級別時，延遲和吞吐量的變化表明，QoS級別越高，延遲越大，但吞吐量仍能滿足XR應用的需求。

2. 真實環境：

   • 在真實環境中，使用ESP32-S2-Saola-1開發板作為IoT設備，Meta Quest 2 VR頭顯作為客戶端，測試了MQTT協議在不同網絡條件下的表現。

   • 在最壞情況下（公共WiFi網絡），平均往返延遲為18.78毫秒，QoS級別為1時延遲為24.98毫秒，QoS級別為2時延遲為36.29毫秒。這些延遲值仍低于人類感知的閾值（約10毫秒），證明MQTT協議在高延遲網絡中仍能提供可接受的性能。

   • 在理想情況下（專用WiFi網絡），延遲顯著降低，QoS級別為0時平均延遲為6.25毫秒，QoS級別為1時為8.27毫秒，QoS級別為2時為13.92毫秒。這些結果表明，MQTT協議在低延遲網絡中表現優異，適合用于需要高響應性的XR應用。

結論與未來工作

本文提出的框架通過使用MQTT協議，成功地將IoT設備與XR應用集成，解決了現有解決方案中的許多問題。框架在低延遲和高吞吐量方面表現出色，適用于需要低延遲輸入設備的XR應用。未來的工作將包括更多用戶測試，驗證框架在實際游戲和應用中的表現，以及探索框架在工業自動化和智能家居等領域的應用。此外，還需要進一步研究MQTT和CoAP協議的性能比較，以及在更復雜的網絡環境中的表現。