前言

近期在摳lerobot源碼時，看到其封裝了ALOHA ACT、diffusion policy、π0時，我就在想，lerobot其實可以再封裝下idp3

1. 我甚至考慮是否從我聯合帶的那十幾個具身研究生中選幾個同學做下這事，對他們也是很好的歷練
2. 然當25年3.18日晚上，我把lerobot摳的差不多了「比如此文《LeRobot源碼剖析——對機器人各個動作策略的統一封裝：包含ALOHA ACT、Diffusion Policy、VLA模型π0》」
   卻發現傅利葉fork了lerobot，并在fork的fourier-lerobot中，把idp3封裝了進去，實在是卷啊..

再加之工廠機械臂開發訂單之外，我司「七月在線」近期接到的B端人形開發訂單越來越多了(且還有多個人形開發需求正在并行推進中)

1. 對于其中一個人形開發訂單，我(們)準備把ipd3作為備選，既然fourier把ipd3封裝進了lerobot，那這個fourier-lerobot便是我們在落地中會嘗試的庫之一
2. 當然了，idp3外，像vla π0 我們也會考慮并行嘗試，而π0此前已經封裝進了lerobot，故π0官方庫、lerobot庫都是可以選擇的?

我們非常缺人，如果有志于做具身智能或人形研發的，歡迎私我，我還順帶在微博上感慨

而FFTAI/fourier-lerobot對huggingface/lerobot的主要擴展集中在以下幾個方面：

1. 數據集支持：添加了對Fourier ActionNet數據集的全面支持，包括轉換工具和可視化工具
2. 訓練管道：擴展了IDP3訓練管道，針對人形機器人優化
3. 工具擴展：提供了特定于Fourier數據集的工具鏈

這些修改使FFTAI/fourier-lerobot成為一個專為人形機器人開發優化的版本，而保持了與原始huggingface/lerobot項目的核心框架兼容性

第一部分 fourier-lerobot新增的獨立scripts

FFTAI/fourier-lerobot添加了一個完全獨立的scripts目錄（與lerobot/scripts不同），包含：

• convert_to_lerobot_v2.py：這是一個專門為Fourier數據集開發的轉換工具，用于將Fourier ActionNet數據集轉換為LeRobotDatasetV2格式
  該腳本處理了：
  HDF5格式的機器人狀態和動作數據
  攝像機RGB和深度視頻數據
  點云數據生成和處理
  時間戳對齊
  特定于人形機器人的關節數據處理
• `fourier_viz.py`：用于可視化Fourier數據集的專用工具
• `requirements.txt`：Fourier數據集處理工具的依賴項

1.1?convert_to_lerobot_v2.py

1.2?fourier_viz.py

第二部分 全新的`idp3`訓練管道實現

即在新增的lerobot/common/policies/idp3目錄之下，包含以下文件：
- `configuration_idp3.py`
- `modeling_idp3.py`?
- `pointnet_extractor.py`

這是一個重要的擴展，因為原始huggingface/lerobot項目中不包含IDP3訓練管道

// 待更

第三部分 Fourier數據集的可視化和處理與文檔擴展

3.1 pyproject.toml中的修改：以支持Fourier數據集的可視化和處理

添加了`fourier_viz`可選依賴組，包含以下軟件包：

fourier_viz = ["opencv-python>=4.10.0.84","rerun-sdk==0.22.0","h5py>=3.12.1","tqdm>=4.67.1","loguru","numpy","rich",
]

這些依賴項專門用于支持Fourier數據集的可視化和處理

3.2 文檔擴展

- 添加了完整的`DATASET.md`文件，詳細說明了Fourier ActionNet數據集的結構和使用方法
- 修改了`README.md`，添加了關于Fourier-Lerobot的介紹段落和功能說明

第四部分?傅利葉開源人形機器人數據集Fourier ActionNet

// 待更

第五部分?我司七月人形研發落地實踐

// 待更