目錄
- 1. PoSE: Suppressing Perceptual Noise in Embodied Agents for Enhanced Semantic Navigation
- 2. Embodied Intelligence: Bionic Robot Controller Integrating Environment Perception, Autonomous Planning, and Motion Control
- 3. Can an Embodied Agent Find Your “Cat-shaped Mug”? LLM-Based Zero-Shot Object Navigation
- 4. ScanERU: Interactive 3D Visual Grounding Based on Embodied Reference Understanding
- 5. CAVEN: An Embodied Conversational Agent for Efficient Audio-Visual Navigation in Noisy Environments
- 參考文獻
1. PoSE: Suppressing Perceptual Noise in Embodied Agents for Enhanced Semantic Navigation
??這篇論文探討了如何在未知環境中提升機器人基于語義信息的導航能力。現有方法，如依賴大量數據集或預設規則的方法，通常面臨著擴展性差和適應性弱的問題。而依靠預訓練的語言模型的方法，則因視覺與語義信息的不匹配導致感知噪聲，影響決策準確性。
??為了克服這些限制，論文提出了一種創新的方法，稱為基于提示的視覺上下文語義探索（PoSE）。該方法利用視覺-語言模型（VLMs）的先驗知識，通過設計特定的提示（prompts）來減少感知噪聲，并優化探索效率。這些提示基于存在邏輯，能夠在觀察到的環境中減少目標對象的誤識別，例如通過判斷某個場景是否可能找到目標對象來調整探索策略。
??論文還引入了一個獨特的探索地圖，該地圖能夠將推理出的目標位置轉化為機器人探索的坐標。在ALFRED基準上的實驗結果顯示，PoSE在未見環境中的表現優于傳統的規則基礎和任務特定的數據驅動策略，尤其是在處理基于文本模式的探索方法時。通過這種集成視覺信息和語義理解的方法，PoSE不僅提高了任務執行的成功率，也增強了模型的泛化能力，展示了其在未知環境中的有效性和廣泛適用性。
2. Embodied Intelligence: Bionic Robot Controller Integrating Environment Perception, Autonomous Planning, and Motion Control
??這篇論文針對現代制造業中對機器人智能化和自主性需求的增加，提出了一種新型的仿生機器人控制器，以解決傳統機器人控制器在環境感知、目標識別、自主思考和規劃能力方面的不足。
??為實現這一目標，研究團隊在機器人控制器中集成了三個核心模塊：運動控制模塊、視覺感知模塊和自主規劃模塊。控制器基于ROS框架和ECI（Edge Controls for Industry）平臺構建，利用改進的RRT-Growth-Angle算法進行路徑規劃，以確保機器人在執行任務時能夠避免碰撞。
??研究中以多目標重排問題作為驗證場景，建立了一個雙機器人協作系統。系統使用YOLOv5_OBB網絡進行對象識別和定位，通過任務序列規劃和路徑規劃算法，自主規劃出無碰撞的軌跡，實現從起始點到抓取位置再到放置位置的移動。實驗結果表明，該仿生機器人控制器能有效地模仿人的感知、思考和行動過程，智能地處理復雜的自動化任務。這項研究不僅展示了仿生機器人控制器在工業自動化領域的應用潛力，還為未來機器人控制系統的設計提供了新的思路和方向，特別是在提高機器人的自主性和智能化水平方面具有重要意義。
3. Can an Embodied Agent Find Your “Cat-shaped Mug”? LLM-Based Zero-Shot Object Navigation
??這篇論文聚焦在一個特定的挑戰：在完全未見過的環境中，讓機器人僅通過自然語言的描述來找到特定的目標物體，比如一個形狀像貓的馬克杯。針對這一挑戰，研究團隊提出了一種稱為“語言引導探索”（Language-Guided Exploration, LGX）的新方法。這種方法利用了大型語言模型（LLMs）的常識推理能力和預訓練的視覺-語言模型，通過這些模型，機器人可以理解復雜的、非約束性的自然語言描述，并據此做出導航決策。具體實現上，LGX首先解析環境中的視覺語義信息，再結合LLM生成的導航子目標或直接的空間指令來引導機器人行動。
??在實驗部分，研究者使用RoboTHOR模擬環境對LGX進行了測試。與現有的基于CLIP的OWL-ViT模型相比，LGX在零樣本目標導航的成功率上實現了超過27%的提升，表明其在處理具體目標導航任務中的優勢。此外，研究團隊還將該方法應用于實際機器人平臺，通過真實世界的實驗進一步驗證了其效果。
??通過這些實驗，LGX展示了在處理自然語言驅動的零樣本目標導航中的有效性，特別是在理解和執行基于復雜自然語言描述的任務方面。這一研究不僅推動了機器人導航和自然語言處理領域的發展，也為未來機器人在真實世界中的應用提供了有力的技術支持。
4. ScanERU: Interactive 3D Visual Grounding Based on Embodied Reference Understanding
??這篇論文探討如何通過人機交互來提升3D視覺定位的準確性，尤其是在識別外觀相似的多個鄰近物體時的挑戰。傳統的3D視覺定位技術在處理含糊的空間描述和相似物體的區分上存在局限性，而本研究通過引入身體語言和手勢信息，提出了一種名為“基于身體參照的理解（ERU）”的新任務，以改善這些問題。
??研究團隊首先設計了ScanERU數據集，這是首個融合文本描述、實際視覺圖像和合成手勢信息的數據集，用于評估和訓練模型。此數據集包含了多種半合成場景，旨在提供一個復雜且具有挑戰性的測試環境，以驗證方法的有效性。
??在技術實現上，論文構建了一個基于注意力機制和人體動作的啟發式框架。這一框架不僅考慮了語言和視覺信息，還特別強調了手勢信息的整合，通過這三者的互動來提高識別精度。實驗結果表明，這種多模態融合方法在識別具有復雜空間關系的多個相似物體方面表現出色，尤其是在有手勢指示時，識別效果有顯著提高。
??此外，為了驗證方法的實際應用效果，研究團隊還在真實世界場景中進行了測試，使用Azure Kinect DK 3D傳感器收集現場數據，并應用開發的方法進行處理和分析。這一部分的測試結果進一步證實了所提出方法的實用性和有效性，特別是在真實環境下對于復雜描述的處理能力上。
??總的來說，這篇論文通過創新地融合語言、視覺以及身體手勢信息，提出了一個全新的3D視覺定位框架，并通過實驗和實際應用展示了其在處理復雜場景和提高定位準確性方面的顯著優勢。這項工作不僅推動了3D視覺定位技術的發展，也為未來人機交互及智能系統設計提供了新的研究方向和實用解決方案。
5. CAVEN: An Embodied Conversational Agent for Efficient Audio-Visual Navigation in Noisy Environments
??這篇論文提出了一種新穎的對話式音視頻導航框架CAVEN，專門設計來解決在嘈雜環境中基于聲音導航的問題。這種環境中的聲音通常是間歇性的、雜音混雜的，給定位聲源帶來了極大的挑戰。在此背景下，傳統的聲音或視覺導航方法往往難以應對聲音信號的不確定性和復雜性。
??CAVEN框架的核心創新在于它能夠通過與人類或預設的Oracle進行全雙工的自然語言交互，以增強導航策略。這種交互不僅限于簡單的指令響應，還包括能夠生成和解析復雜問題的能力，從而使代理能夠根據實時獲取的信息動態調整其導航策略。具體來說，該框架包括兩個主要組件：一是基于音視頻線索的軌跡預測網絡，用于生成可能的導航軌跡；二是一個基于自然語言的問題生成與推理網絡，用于與Oracle進行互動，以獲得導航指令或解決導航中的疑問。
??實驗部分，研究者使用SoundSpaces模擬器在各種噪音環境下測試CAVEN的效果，并與其他音視導航方法進行了比較。結果顯示，CAVEN在成功率上幾乎提高了一個數量級，特別是在定位新聲源和處理混合聲音的場景中表現突出。這一顯著的改進歸功于CAVEN能夠通過雙向交流準確處理復雜的語音和視覺信息，顯著提高了導航的準確性和魯棒性。
??此外，為了支持這種復雜的交互式導航任務，研究團隊還創建了一個新的大規模數據集AVN-Instruct，包含了大量的音頻目標、軌跡和語言指令對。這些數據不僅用于訓練CAVEN模型中的交互模塊，還通過新的評價指標SNO和SNI來評估語言引導導航任務的效果。
參考文獻
[1] Zhuang B, Zhang C, Hu Z. PoSE: Suppressing Perceptual Noise in Embodied Agents for Enhanced Semantic Navigation[J]. IEEE Robotics and Automation Letters, 2023.
[2] Gan Y, Zhang B, Shao J, et al. Embodied Intelligence: Bionic Robot Controller Integrating Environment Perception, Autonomous Planning, and Motion Control[J]. IEEE Robotics and Automation Letters, 2024.
[3] Dorbala V S, Mullen Jr J F, Manocha D. Can an Embodied Agent Find Your “Cat-shaped Mug”? LLM-Based Zero-Shot Object Navigation[J]. IEEE Robotics and Automation Letters, 2023.
[4] Lu Z, Pei Y, Wang G, et al. ScanERU: Interactive 3D Visual Grounding Based on Embodied Reference Understanding[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2024, 38(4): 3936-3944.
[5] Liu X, Paul S, Chatterjee M, et al. CAVEN: An Embodied Conversational Agent for Efficient Audio-Visual Navigation in Noisy Environments[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2024, 38(4): 3765-3773.
