最初,因隋煬帝思念心切,命工匠按照柳抃的形象制作了木偶機器人,被認為是歷史上最早的機器人之一。這些木偶機器人通過精巧設計的機關,能夠執行坐、起、拜、伏等動作。
如今,隨著科技的發展,機器人已經廣泛應用于醫療、軍事、教育、服務等各個領域,為人類提供更安全、更便捷、更高效的服務。
因此,本文整理了一些機器人相關的開源數據集、模型和項目,旨在幫助研究人員更好地開展相關領域的工作。
LeRobot
LeRobot 是由 Hugging Face 開源的一個機器人代碼庫,提供模型、數據集和工具。它通過預訓練模型、數據集和模擬來拉低機器人入門門檻。
核心特點:
-
開源:與各方合作創建一個龐大的眾包機器人數據集,增強了開發復雜人工智能驅動機器人的資源。
-
多功能:一個用于共享、可視化數據和訓練最先進模型(SOTA)的庫。用戶可以訪問大量預訓練模型,快速啟動項目。
-
兼容性高:兼容各種機器人硬件,從簡單的機械臂到復雜的類人機器人。
推人表示 Hugging Face 這一舉動將削弱大型人工智能技術公司的壟斷地位,加速人工智能機器人技術的創新!!!
-
Github:https://github.com/huggingface/lerobot
-
Huggingface:https://huggingface.co/lerobot
RoboFlamingo
RoboFlamingo 是機器人領域首個開源的視覺-語言操作大模型,由 ByteDance 團隊開發。通過簡單的微調,即可使 RoboFlamingo 適應基于語言的機器人操作任務。此外,它能夠通過開環控制實現實時響應,并且可以靈活部署在性能較低的平臺上。
-
論文鏈接:https://arxiv.org/abs/2311.01378
-
項目鏈接:https://roboflamingo.github.io/
Open X-Embodiment
Open X-Embodiment 數據集是迄今為止最大的開源真實機器人數據集,由全球 34 個機器人研究實驗室提供的 60 個現有機器人數據集構建而成。該數據集包含超過 1 百萬條真實機器人軌跡,涵蓋了 22 種不同的機器人具身,從單臂機器人到雙手臂機器人和四足機器人。
-
論文鏈接:https://arxiv.org/abs/2310.08864
-
項目鏈接:https://robotics-transformer-x.github.io/
RoboAgent
由 CMU 和 Meta AI 共同開發的通用的 RoboAgent,僅在 7500 條軌跡數據上進行訓練,就能在 38 個任務中展示 12 種多樣的操作技能,且不限于拾取 / 推動,還包括關節對象操縱和物體重新定位,以及能將這些技能推廣應用于數百個不同的未知情境(未知物體、未知任務,甚至完全未知的廚房環境)。
其中用于訓練 RoboAgent 的數據集 RoboSet(MT-ACT)僅包括 7500 條軌跡(比 RT-1 的數據少 18 倍)。除此之外,還發布了一個更大的數據集 RoboSet,該數據集是在幾個相關項目過程中收集的,總共包含 100050 條軌跡,其中包括非廚房場景。并且已開源。
-
論文鏈接:https://arxiv.org/pdf/2309.01918.pdf
-
項目鏈接:https://robopen.github.io/
Mobile ALOHA
Mobile ALOHA 是由斯坦福大學的研究團隊開發的一個機器人開源項目。它的運動控制能力采用模仿學習,通過人類操作機器人,機器人學習模仿人類行為,形成機器人的行為邏輯。僅需要進行 50 次演示的訓練,就能夠在處理日常家務時達到 80% 以上的成功率。
例如,在論文中列出的任務執行成功率如下:擦拭紅酒、呼叫電梯、擊掌、收納平底鍋、沖洗平底鍋、推椅子成功率分別為 95%、95%、85%、85%、80%、80%。
其中,最令人驚訝的是制作滑蛋蝦仁這項長達 75 秒的艱巨烹飪任務,盡管成功率只有40%。
-
論文鏈接:http://arxiv.org/abs/2401.02117
-
項目鏈接:https://mobile-aloha.github.io/
Dobb·E
Dobb·E 是由紐約大學的研究團隊開發的一個開源家庭機器人系統,僅需約 20 分鐘就可以教會機器人完成一項家務,成功率達到 81%。
Homes of New York(HoNY)數據集包含紐約 22 戶家庭使用 Stick 工具收集的 13 小時互動的視頻,包含每秒 30 幀的 RGB 和深度視頻,以及 6D 握爪姿勢和握爪張開角度的完整動作標注。
-
論文鏈接:https://arxiv.org/abs/2311.16098
-
項目鏈接:https://dobb-e.com/
MCD
MCD 是由南洋理工開源的大規模多校區機器人感知數據集。該數據集在亞洲和歐洲的大型校園區域不同季節收集而成,具有以下特點:
-
多種感測模態
-
3D spinning lidar
-
Non-repetItive lidar
-
Stereo cameras
-
High quality IMUs
-
UWB ranging sensors
-
-
覆蓋領域廣:橫跨歐亞的三個大學校區
-
逐點標注的NRE點云
-
高精度連續時間真實值
-
迎接感知中的挑戰
-
廣泛的基準測試
收錄于 CVPR 2024。
-
論文鏈接:https://arxiv.org/abs/2403.11496v1
-
項目鏈接:https://mcdviral.github.io/
TreeScope
TreeScope 是一個用于精準農業和林業的機器人數據集,用于對林業和果園中的樹木進行計數和繪圖。
特點如下:
-
超 1800 多個人工標注的樹干語義標簽和實地測量的樹木直徑
-
10 小時的 ROS bags,2.2 TB 的數據,覆蓋 50 公頃的地形
-
使用無人機和移動機器人平臺收集數據
-
弗吉尼亞州和新澤西州森林中的各種松樹和橡樹林
-
加利福尼亞中部開心果和杏仁果園的樹冠開啟和關閉情況
-
無人機自主飛行和傳感器數據可供飛行一小時使用
收錄于 ICRA 2024。
-
論文鏈接:https://arxiv.org/abs/2310.02162
-
項目鏈接:https://treescope.org/
USTC FLICAR Dataset
USTC FLICAR Dataset 是由中國科大發布的首個高空作業機器人多模態感知數據集,超過 1.5TB 個數據,包括 4 萬個立體圖像對、10萬個單目圖像、7萬幀激光雷達點云以及高頻IMU/INS和激光跟蹤儀運動測量數據。
-
中文介紹:https://lmbd.ustc.edu.cn/2023/1012/c10217a614638/page.htm
-
論文鏈接:https://journals.sagepub.com/doi/abs/10.1177/02783649231195650
-
項目鏈接:https://ustc-flicar.github.io/
RoboNet
RoboNet 是由伯克利人工智能研究公司開源的大規模多機器人學習數據集,包含超過 1500 萬個機器人與物體交互的視頻幀,這些視頻幀來自 113 個獨特的攝像機視角。
RoboNet 示例及數據統計如下:
-
論文鏈接:https://arxiv.org/abs/1910.11215
-
項目鏈接:https://www.robonet.wiki/
隨著機器人技術的不斷進步,其應用范圍越來越廣泛,對操作精度等性能的要求也在持續提升。面對這一挑戰,開發者們積極采取各種措施進行應對,從構建大規模數據集到引入先進的機器學習技術,不斷涌現各種方法以適應精準機器人技術的不斷演變。然而,技術的升級離不開算力的支持。作為算力服務商,趨動云擁有高性能的計算資源,能夠快速處理海量數據,為開發人員提供強大的支持。
?趨動云是面向企業、科研機構和個人 AI 開發者構建的開發和推理訓練服務,也是全球首個基于 GPU 算力池化云的服務。
趨動云的使命是連接算力·連接人:
📍通過連接全球算力,趨動云可以為用戶提供便宜、好用的 AI 算力。
📍通過為AI算法開發全流程提供優化服務、構建全球開發者項目和數據社區,趨動云可以幫助AI開發者接入豐富的生態,快速實現最佳實踐
趨動云