0.前置

• 機器人持續學習基準LIBERO系列1——基本介紹與安裝測試
• 機器人持續學習基準LIBERO系列2——路徑與基準基本信息
• 機器人持續學習基準LIBERO系列3——相機畫面可視化及單步移動更新
• 機器人持續學習基準LIBERO系列4——robosuite最基本demo
• 機器人持續學習基準LIBERO系列5——獲取顯示深度圖
• 機器人持續學習基準LIBERO系列6——獲取并顯示實際深度圖
• 機器人持續學習基準LIBERO系列7——計算并可視化點云
  

1.獲取軌跡文件路徑有關包

from libero.libero import benchmark, get_libero_path
import os

2.初始化類和任務

• 用來獲取軌跡文件文件名

benchmark_instance = benchmark.get_benchmark_dict()["libero_10"]()
num_tasks = benchmark_instance.get_num_tasks()

3.生成軌跡文件路徑

datasets_default_path = get_libero_path("datasets")
print(datasets_default_path)
demo_files = [os.path.join(datasets_default_path, benchmark_instance.get_task_demonstration(i)) \for i in range(num_tasks)]
print(demo_files)

• demo_files是由hdf5文件路徑組成的列表

4.重放軌跡有關包

import h5py
from libero.libero.utils.dataset_utils import get_dataset_info
from IPython.display import HTML
import imageio

5.軌跡hdf5文件結構

• demo_0:n步
  • actions:(n,7)
  • dones:(n,)
  • obs
    • agentview_rgb:(n,128,128,3)
    • ee_ori:(n,3)
    • ee_pos:(n,3)
    • ee_states:(n,6)
    • eye_in_hand_rgb:(n,128,128,3)
    • gripper_states:(n,2)
    • joint_states:(n,7)
  • rewards:(n,)
  • robot_states:(329,47)
• demo_1
  …

6.使用手外相機生成重放視頻

example_demo_file = demo_files[9]
# Print the dataset info. We have a standalone script for doing the same thing available at `scripts/get_dataset_info.py`
get_dataset_info(example_demo_file)with h5py.File(example_demo_file, "r") as f:images = f["data/demo_0/obs/agentview_rgb"][()]video_writer = imageio.get_writer("output.mp4", fps=60)
for image in images:video_writer.append_data(image[::-1])
video_writer.close()HTML("""<video width="640" height="480" controls><source src="output.mp4" type="video/mp4"></video><script>var video = document.getElementsByTagName('video')[0];video.playbackRate = 2.0; // Increase the playback speed to 2x</script>    
""")