WMNav 是由VLM視覺語言模型驅動的，基于世界模型的對象目標導航框架。

設計一種預測環境狀態的記憶策略，采用在線好奇心價值圖來量化存儲，目標在世界模型預測的各種場景中出現的可能性。

本文分享WMNav復現和模型推理的過程～

下面是一個查找床示例：

目錄

1、創建Conda環境

2、安裝habitat模擬器

3、安裝WMNav的src

4、安裝依賴庫

5、準備數據集HM3D和MP3D

6、準備Gemini VLM

7、修改配置文件

8、進行模型推理

---

1、創建Conda環境

首先創建一個Conda環境，名字為wmnav，python版本為3.9

進入wmnav環境

conda create -n wmnav python=3.9 cmake=3.14.0
conda activate wmnav

然后下載代碼，進入代碼工程：https://github.com/B0B8K1ng/WMNavigation

git clone https://github.com/B0B8K1ng/WMNavigation
cd WMNavigation

2、安裝habitat模擬器

我需要安裝habitat-sim==0.3.1、headless 和 withbullet

conda install habitat-sim=0.3.1 withbullet headless -c conda-forge -c aihabitat

等待安裝完成～

3、安裝WMNav的src

執行下面命令進行安裝：

pip install -e .

使用setup.py文件進行安裝的：

from setuptools import setup, find_packagessetup(name='WMNav',version='0.1',packages=find_packages('src'),package_dir={'': 'src'},
)

?對應的源碼文件：

4、安裝依賴庫

執行下面命令進行安裝：

pip install -r requirements.txt

主要依賴下面的庫（torch==2.2.2、python-dotenv==1.0.1、Flask==3.0.3等）

Flask==3.0.3
magnum==0.0.0
matplotlib==3.8.4
networkx==3.2.1
numpy==1.23.5
numpy_quaternion==2023.0.3
opencv_python==4.9.0.80
opencv_python_headless==4.10.0.84
pandas==2.2.3
Pillow==11.0.0
protobuf==3.20.3
python-dotenv==1.0.1
PyYAML==6.0.2
regex==2024.4.16
Requests==2.32.3
scipy==1.13.1
seaborn==0.13.2
sympy==1.12
torch==2.2.2
transformers==4.43.3
google-generativeai==0.8.3
wandb==0.18.5

等待安裝完成～

5、準備數據集HM3D和MP3D

該工程代碼是基于 Habitat 模擬器?，HM3D 和 MP3D數據集可 在此處?獲得。

將下載的 HM3D v0.1、HM3D v0.2 和 MP3D 文件夾移動到以下配置中：

├── data
│? ├── hm3d_v0.1/
│? │? ├── val/
│? │? │? ├── 00800-TEEsavR23oF/
│? │? │? │? ├── TEEsavR23oF.navmesh
│? │? │? │? ├── TEEsavR23oF.glb
│? │? ├── hm3d_annotated_basis.scene_dataset_config.json
│? ├── objectnav_hm3d_v1/
│? │? ├── val/
│? │? │? ├── content/
│? │? │? │? ├──4ok3usBNeis.json.gz
│? │? │? ├── val.json.gz
│? ├── hm3d_v0.2/
│? │? ├── val/
│? │? │? ├── 00800-TEEsavR23oF/
│? │? │? │? ├── TEEsavR23oF.basis.navmesh
│? │? │? │? ├── TEEsavR23oF.basis.glb
│? │? ├── hm3d_annotated_basis.scene_dataset_config.json
│? ├── objectnav_hm3d_v2/
│? │? ├── val/
│? │? │? ├── content/
│? │? │? │? ├──4ok3usBNeis.json.gz
│? │? │? ├── val.json.gz
│? ├── mp3d/
│? │? ├── 17DRP5sb8fy/
│? │? │? ├── 17DRP5sb8fy.glb
│? │? │? ├── 17DRP5sb8fy.house
│? │? │? ├── 17DRP5sb8fy.navmesh
│? │? │? ├── 17DRP5sb8fy_semantic.ply
│? │? ├── mp3d_annotated_basis.scene_dataset_config.json
│? ├── objectnav_mp3d/
│? │? ├── val/
│? │? │? ├── content/
│? │? │? │? ├──2azQ1b91cZZ.json.gz
│? │? │? ├── val.json.gz

這里可以準備三個數據集，然后逐個測試和驗證;

也可以下載其中一個進行驗證，比如 HM3D v0.2

hm3d_v0.2下載地址：https://github.com/matterport/habitat-matterport-3dresearch

選擇的下載文件：hm3d-val-habitat-v0.2.tar

然后需要下載對應的objectnav_hm3d_v2, 下載地址：

https://github.com/facebookresearch/habitat-lab/blob/main/DATASETS.md

6、準備Gemini VLM

默認使用Gemini VLM，需要將基本 URL 和 api 密鑰粘貼到 .env 文件?名為 GEMINI_BASE_URL 和 GEMINI_API_KEY 的變量的 中。?

我們還可以嘗試其他 VLM，方法是修改 api.py（使用 OpenAI 庫）

api的申請地址：https://aistudio.google.com/app/apikey

需要使用谷歌帳號登陸，然后點擊“創建API密碼”進行創建API密匙

后面需要填寫：GEMINI_BASE_URL、GEMINI_API_KEY

7、修改配置文件

修改.env文件的，主要是GEMINI_BASE_URL、GEMINI_API_KEY、DATASET_ROOT

GEMINI_BASE_URL= "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash:generateContent?key=GEMINI_API_KEY"GEMINI_API_KEY= "AIzaSyA-DDe-xxxxxxxxxxxxx" #INSERT API KEY
DATASET_ROOT= "./data/"
MAGNUM_LOG=quiet
GLOG_minloglevel=4
HABITAT_SIM_LOG=quiet
HABITAT_LOG_LEVEL=error

修改 config/WMNav.yaml配置文件（可選）

# 任務類型：目標導航任務
task: ObjectNav
# 使用的智能體類
agent_cls: WMNavAgent
# 使用的環境類
env_cls: WMNavEnv# 智能體配置
agent_cfg:# 導航性模式:'none'（無導航能力），'depth_estimate'（使用 ZoeDepth 進行深度估計），'segmentation'（使用 Segformer 進行分割），'depth_sensor'（使用深度傳感器）navigability_mode: 'depth_sensor'  # 上下文歷史記錄數量，這里設置為 0context_history: 0# 探索偏差，用于調整智能體的行為explore_bias: 4 # 智能體可執行的最大動作距離max_action_dist: 1.7# 智能體可執行的最小動作距離min_action_dist: 0.5# 動作距離裁剪比例，避免智能體過于靠近障礙物clip_frac: 0.66 # 智能體停止后繼續執行的動作長度stopping_action_dist: 1.5 # 默認動作距離，當 VLM 選擇的動作無效時，智能體向前移動的距離default_action: 0.2 # 視野范圍與角度增量的比率spacing_ratio: 360 # 考慮的動作角度數量num_theta: 60 # 圖像邊緣閾值，當動作投影在圖像邊緣的 4% 范圍內時不進行投影image_edge_threshold: 0.04 # 智能體轉向冷卻時間，即智能體在轉向后需要等待的步數turn_around_cooldown: 3 # 可導航性高度閾值，從地面開始計算的可導航性高度navigability_height_threshold: 0.2 # 地圖比例尺，每米對應的像素數量map_scale: 100 # 視覺語言模型（VLM）配置vlm_cfg:# 使用的模型類model_cls: GeminiVLM# 模型參數model_kwargs:# 使用的模型名稱model: gemini-1.5-pro# 是否啟用全景填充panoramic_padding: False# 仿真環境配置
sim_cfg:# 智能體的高度agent_height: 0.88# 智能體的半徑agent_radius: 0.18# 是否允許滑動allow_slide: true# 是否使用目標圖像智能體use_goal_image_agent: false# 傳感器配置sensor_cfg:# 傳感器高度height: 0.88# 傳感器俯仰角pitch: -0.25# 傳感器視野范圍fov: 79# 傳感器圖像高度img_height: 480# 傳感器圖像寬度img_width: 640# 環境配置
env_cfg:# 總共的劇集數量（任務數量）num_episodes: 1# 每個劇集的最大步數max_steps: 40# 日志記錄頻率log_freq: 1# 數據集劃分方式，這里使用驗證集split: val# 成功閾值，智能體與目標之間的距離小于該值時認為任務成功success_threshold: 1.0# 數據集實例數量，將數據集劃分為多個實例instances: 1 # 當前運行的實例編號instance: 0 # 是否并行運行parallel: false# 環境名稱name: default# Flask 服務器端口，用于聚合來自不同實例的結果port: 5000 

8、進行模型推理

執行下面命令：

python scripts/main.py

在logs目錄下，運行結果示例：

?分享完成～

相關文章推薦：

UniGoal 具身導航 | 通用零樣本目標導航 CVPR 2025-CSDN博客

【機器人】復現 UniGoal 具身導航 | 通用零樣本目標導航 CVPR 2025-CSDN博客

【機器人】復現 ECoT 具身思維鏈推理-CSDN博客

【機器人】復現 SG-Nav 具身導航 | 零樣本對象導航的 在線3D場景圖提示-CSDN博客