機器人開源項目分享,助力一戶一機器人

圖片

最初,因隋煬帝思念心切,命工匠按照柳抃的形象制作了木偶機器人,被認為是歷史上最早的機器人之一。這些木偶機器人通過精巧設計的機關,能夠執行坐、起、拜、伏等動作。

如今,隨著科技的發展,機器人已經廣泛應用于醫療、軍事、教育、服務等各個領域,為人類提供更安全、更便捷、更高效的服務。

因此,本文整理了一些機器人相關的開源數據集、模型和項目,旨在幫助研究人員更好地開展相關領域的工作。

LeRobot

LeRobot 是由 Hugging Face 開源的一個機器人代碼庫,提供模型、數據集和工具。它通過預訓練模型、數據集和模擬來拉低機器人入門門檻。

核心特點:

  • 開源:與各方合作創建一個龐大的眾包機器人數據集,增強了開發復雜人工智能驅動機器人的資源。

  • 多功能:一個用于共享、可視化數據和訓練最先進模型(SOTA)的庫。用戶可以訪問大量預訓練模型,快速啟動項目。

  • 兼容性高:兼容各種機器人硬件,從簡單的機械臂到復雜的類人機器人。

推人表示 Hugging Face 這一舉動將削弱大型人工智能技術公司的壟斷地位,加速人工智能機器人技術的創新!!!

  • Github:https://github.com/huggingface/lerobot

  • Huggingface:https://huggingface.co/lerobot

圖片

RoboFlamingo

RoboFlamingo 是機器人領域首個開源的視覺-語言操作大模型,由 ByteDance 團隊開發。通過簡單的微調,即可使 RoboFlamingo 適應基于語言的機器人操作任務。此外,它能夠通過開環控制實現實時響應,并且可以靈活部署在性能較低的平臺上。

  • 論文鏈接:https://arxiv.org/abs/2311.01378

  • 項目鏈接:https://roboflamingo.github.io/

圖片

Open X-Embodiment

Open X-Embodiment 數據集是迄今為止最大的開源真實機器人數據集,由全球 34 個機器人研究實驗室提供的 60 個現有機器人數據集構建而成。該數據集包含超過 1 百萬條真實機器人軌跡,涵蓋了 22 種不同的機器人具身,從單臂機器人到雙手臂機器人和四足機器人。

  • 論文鏈接:https://arxiv.org/abs/2310.08864

  • 項目鏈接:https://robotics-transformer-x.github.io/

圖片

RoboAgent

由 CMU 和 Meta AI 共同開發的通用的 RoboAgent,僅在 7500 條軌跡數據上進行訓練,就能在 38 個任務中展示 12 種多樣的操作技能,且不限于拾取 / 推動,還包括關節對象操縱和物體重新定位,以及能將這些技能推廣應用于數百個不同的未知情境(未知物體、未知任務,甚至完全未知的廚房環境)。

其中用于訓練 RoboAgent 的數據集 RoboSet(MT-ACT)僅包括 7500 條軌跡(比 RT-1 的數據少 18 倍)。除此之外,還發布了一個更大的數據集 RoboSet,該數據集是在幾個相關項目過程中收集的,總共包含 100050 條軌跡,其中包括非廚房場景。并且已開源。

  • 論文鏈接:https://arxiv.org/pdf/2309.01918.pdf

  • 項目鏈接:https://robopen.github.io/

圖片

Mobile ALOHA

Mobile ALOHA 是由斯坦福大學的研究團隊開發的一個機器人開源項目。它的運動控制能力采用模仿學習,通過人類操作機器人,機器人學習模仿人類行為,形成機器人的行為邏輯。僅需要進行 50 次演示的訓練,就能夠在處理日常家務時達到 80% 以上的成功率。

例如,在論文中列出的任務執行成功率如下:擦拭紅酒、呼叫電梯、擊掌、收納平底鍋、沖洗平底鍋、推椅子成功率分別為 95%、95%、85%、85%、80%、80%。

其中,最令人驚訝的是制作滑蛋蝦仁這項長達 75 秒的艱巨烹飪任務,盡管成功率只有40%。

  • 論文鏈接:http://arxiv.org/abs/2401.02117

  • 項目鏈接:https://mobile-aloha.github.io/

Dobb·E

Dobb·E 是由紐約大學的研究團隊開發的一個開源家庭機器人系統,僅需約 20 分鐘就可以教會機器人完成一項家務,成功率達到 81%。

Homes of New York(HoNY)數據集包含紐約 22 戶家庭使用 Stick 工具收集的 13 小時互動的視頻,包含每秒 30 幀的 RGB 和深度視頻,以及 6D 握爪姿勢和握爪張開角度的完整動作標注。

  • 論文鏈接:https://arxiv.org/abs/2311.16098

  • 項目鏈接:https://dobb-e.com/

MCD

MCD 是由南洋理工開源的大規模多校區機器人感知數據集。該數據集在亞洲和歐洲的大型校園區域不同季節收集而成,具有以下特點:

  • 多種感測模態

    • 3D spinning lidar

    • Non-repetItive lidar

    • Stereo cameras

    • High quality IMUs

    • UWB ranging sensors

  • 覆蓋領域廣:橫跨歐亞的三個大學校區

  • 逐點標注的NRE點云

  • 高精度連續時間真實值

  • 迎接感知中的挑戰

  • 廣泛的基準測試

收錄于 CVPR 2024。

  • 論文鏈接:https://arxiv.org/abs/2403.11496v1

  • 項目鏈接:https://mcdviral.github.io/

圖片

TreeScope

TreeScope 是一個用于精準農業和林業的機器人數據集,用于對林業和果園中的樹木進行計數和繪圖。

特點如下:

  • 超 1800 多個人工標注的樹干語義標簽和實地測量的樹木直徑

  • 10 小時的 ROS bags,2.2 TB 的數據,覆蓋 50 公頃的地形

  • 使用無人機和移動機器人平臺收集數據

  • 弗吉尼亞州和新澤西州森林中的各種松樹和橡樹林

  • 加利福尼亞中部開心果和杏仁果園的樹冠開啟和關閉情況

  • 無人機自主飛行和傳感器數據可供飛行一小時使用

收錄于 ICRA 2024。

  • 論文鏈接:https://arxiv.org/abs/2310.02162

  • 項目鏈接:https://treescope.org/

USTC FLICAR Dataset

USTC FLICAR Dataset 是由中國科大發布的首個高空作業機器人多模態感知數據集,超過 1.5TB 個數據,包括 4 萬個立體圖像對、10萬個單目圖像、7萬幀激光雷達點云以及高頻IMU/INS和激光跟蹤儀運動測量數據。

  • 中文介紹:https://lmbd.ustc.edu.cn/2023/1012/c10217a614638/page.htm

  • 論文鏈接:https://journals.sagepub.com/doi/abs/10.1177/02783649231195650

  • 項目鏈接:https://ustc-flicar.github.io/

圖片

RoboNet

RoboNet 是由伯克利人工智能研究公司開源的大規模多機器人學習數據集,包含超過 1500 萬個機器人與物體交互的視頻幀,這些視頻幀來自 113 個獨特的攝像機視角。

RoboNet 示例及數據統計如下:

圖片

  • 論文鏈接:https://arxiv.org/abs/1910.11215

  • 項目鏈接:https://www.robonet.wiki/


隨著機器人技術的不斷進步,其應用范圍越來越廣泛,對操作精度等性能的要求也在持續提升。面對這一挑戰,開發者們積極采取各種措施進行應對,從構建大規模數據集到引入先進的機器學習技術,不斷涌現各種方法以適應精準機器人技術的不斷演變。然而,技術的升級離不開算力的支持。作為算力服務商,趨動云擁有高性能的計算資源,能夠快速處理海量數據,為開發人員提供強大的支持。

?

趨動云是面向企業、科研機構和個人 AI 開發者構建的開發和推理訓練服務,也是全球首個基于 GPU 算力池化云的服務。

趨動云的使命是連接算力·連接人:

📍通過連接全球算力,趨動云可以為用戶提供便宜、好用的 AI 算力。
📍通過為AI算法開發全流程提供優化服務、構建全球開發者項目和數據社區,趨動云可以幫助AI開發者接入豐富的生態,快速實現最佳實踐

趨動云

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/14014.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/14014.shtml
英文地址,請注明出處:http://en.pswp.cn/web/14014.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

從ES5邁向ES6:探索 JavaScript 新增聲明命令與解構賦值的魅力

個人主頁:學習前端的小z 個人專欄:JavaScript 精粹 本專欄旨在分享記錄每日學習的前端知識和學習筆記的歸納總結,歡迎大家在評論區交流討論! ES5、ES6介紹 文章目錄 💯聲明命令 let、const🍟1 let聲明符&a…

Linux磁盤初始化與fstab文件更新

環境: Redhat 7.9 本文操作: >>給disk設置分區 (fdisk) >>給disk設置file system格式 (mkfs ) >>創建路徑,并將disk mount上(mkdir和mount ) >>修改fstab文件 初始化Disk 初始化前&#xff…

Vue組件通信 - 組件傳值 / 什么是組件

1.什么是組件通信: 組件(.vue)通過某種方式來傳遞信息以達到某個目的 2.組件通信可以解決什么問題: 每個組件之間都有獨立的作用域,組件間的數據是無法共享的,但在實際開發中我們常常需要讓組件之間共享…

【計算機網絡原理】對傳輸層TCP協議的重點知識的總結

?????? write in front ??????? ?????????大家好,我是xiaoxie.希望你看完之后,有不足之處請多多諒解,讓我們一起共同進步????? . ?? ?xiaoxie?????????—CSDN博客 本文由xiaoxie????????? 原創 CSDN 如…

Spring Bean Map漫游:遍歷背后的生命周期奧秘

1. 引言 在Spring框架中,Bean的生命周期是一個復雜而精妙的過程。其中,遍歷存儲Bean實例的Map(通常是DefaultSingletonBeanRegistry中的singletonObjects)是這一過程中的重要環節。理解這個遍歷過程以及它在Bean生命周期中的作用…

桌面文件不見了怎么恢復?五種方法解決文件恢復難題,建議收藏

不小心誤刪除了桌面文件,導致文件丟失。事實上誤刪的文件并沒有被永久刪除,而是被移動到了回收站中,可以恢復這些文件。本文將分享多種方法,具體步驟如下。 方法一:從回收站中恢復 大多數操作系統都有回收站或垃圾桶的…

【C語言】結構體內存對齊:熱門面試話題

🔥引言 書接上文,我們了解關于結構體的基本知識,這篇將深入剖析結構體中一個重要的知識點:內存對齊 關于內存對齊是屬于熱門面試話題,對此單獨放在一篇來分享 🌈個人主頁:是店小二呀 🌈C語言筆記…

3D工業視覺

前言 本文主要介紹3D視覺技術、工業領域的應用、市場格局等,主要技術包括激光三角測量、結構光、ToF、立體視覺。 一、核心內容 3D視覺技術滿足工業領域更高精度、更高速度、更柔性化的需求,擴大工業自動化的場景。 2D視覺技術基于物體平面輪廓&#…

軟件無線電學習-第二代移動通信系統過程理解

本文知識內容摘自《軟件無線電原理和應用》 無線通信領域讓大家感受最深的是民用移動通信的快速發展。民用移動通信在短短的二十年時間里已發展了三代:20世紀80年代的模擬體制(TACS/AMPS)為第一代移動通信(簡稱1G);20世紀90年代的數字體制(GSMCDMATDMA)…

Git提交和配置命令

一、提交代碼到倉庫 在軟件開發中,版本控制是一個至關重要的環節。而Git作為目前最流行的版本控制系統之一,為我們提供了便捷高效的代碼管理和協作工具。在日常開發中,我們經常需要將本地代碼提交到遠程倉庫,以便于團隊協作和版本…

2024電工杯數學建模B題思路模型代碼

完整內容更新見文末名片 B 題:大學生平衡膳食食譜的優化設計及評價 大學時代是學知識長身體的重要階段,同時也是良好飲食習慣形成的重要時期。這一特 定年齡段的年輕人,不僅身體發育需要有充足的能量和各種營養素,而且繁重的腦…

Java基礎教程 - 9 集合

更好的閱讀體驗:點這里 ( www.doubibiji.com ) 更好的閱讀體驗:點這里 ( www.doubibiji.com ) 更好的閱讀體驗:點這里 ( www.doubibiji.com ) 9 集合 什么是集合&…

【stm32/CubeMX、HAL庫】嵌入式實驗六:定時器(2)|PWM輸出

參考: 【【正點原子】手把手教你學STM32CubeIDE開發】 https://www.bilibili.com/video/BV1Wp42127Cx/?p13&share_sourcecopy_web&vd_source9332b8fc5ea8d349a54c3989f6189fd3 《嵌入式系統基礎與實踐》劉黎明等編著,第九章定時器&#xff0c…

愛普生TG5032SFN溫補晶振在機器人控制中的應用

機器人控制是機器人技術的核心組成部分,它涉及通過傳感器采集外部環境信息,然后經過信號處理、運動規劃和執行控制等步驟,最終實現機器人的運動控制和任務執行。在技術的不斷更選,機器人控制也在不斷進步和演變。智能化機器人具備…

cannot compute sizeof(off_t) when compile netcdf-fortran

export LD_LIBRARY_PATH/netcdf-c/lib:$LD_LIBRARY_PATH

Z緩沖技術在AI去衣中的關鍵角色

引言: 人工智能(AI)技術的飛速發展,為圖像處理領域帶來了革命性的變化。其中,AI去衣技術作為一種新興的應用,引起了廣泛關注。它不僅在多媒體內容的編輯、虛擬現實和增強現實等領域具有重要的應用價值&…

Jenkins 構建 Maven 項目:項目和服務器在一起的情況

bash.sh內容 #!/bin/bash#刪除歷史數據 rm -rf ruoyi-admin.jar# appname$1 appnamevideo.xxxxx.com #獲取傳入的參數 echo "arg:$appname"#獲取正在運行的jar包pid # pidps -ef | grep $1 | grep java -jar | awk {printf $2} pidps -ef | grep $appname | grep ja…

1673. 找出最具競爭力的子序列

題目 給定一個整數數組 nums 和一個正整數 k,返回長度為 k 且最具競爭力的 nums 子序列。 數組的子序列是從數組中刪除一些元素(可能不刪除元素)得到的序列。 在子序列 a 和子序列 b 第一個不相同的位置上,如果 a 中的數字小于…

mysql 刪除特殊字符 表中存了特殊字符 換行符 回車符 word字符 查詢不到

省流: UPDATE t1 SET f1 REPLACE(REPLACE( f1 , CHAR(10), ), CHAR(13), ); 用 replace() 函數將 換行符char(10) 和 回車符char(13) 替換為空字符串。 char(10):換行 char(13):回車 發現表里存進很多換行符,如下圖&#xff1a…

深入研究Qt Meta - Object System

目錄 先說RTTI 再說QMeta Object System 關于Q_OBJECT 這篇文章我打算研究一下QMetaObject System,也就是Qt自己構建起來的元對象系統。 先說RTTI 啥是RTTI?這是C編程里的一個常見術語,全稱是:運行階段類型識別(Ru…