YOLO機械臂丨使用unity搭建仿真環境，YOLO算法識別，Moveit2控制

文章目錄

  • 前言
  • 搭建開發環境
  • 在window中安裝Unity
  • 創建Docker容器，并安裝相關軟件
  • 運行測試
  • 改進
    • 添加刪除節點前的函數調用
  • 報錯
    • ?框選節點的時候報錯
    • ?如果無法控制機械臂，查看rviz2的終端，應該會有
    • ?規劃路徑超出范圍
  • 參考

前言

本項目介紹通過Unity3D仿真Panda機械臂，為研究機械臂的控制算法、控制效果和構建復雜仿真環境提供虛擬化平臺。

在這里插入圖片描述在這里插入圖片描述
2025-5-182025-6-2

要點：

  • PandaArmUnity3D：Unity3D項目
  • ros2_docker_ws：ros2項目
  • matlab：包含了驗證機械臂位置正逆運動學的算法分析

video:

  • 2025-6-2：YOLO機械臂丨使用unity搭建仿真環境，YOLO算法識別，Moveit2控制
  • 2025-5-18: 機械臂位置正逆運動學原理與代碼
  • 2025-4-13: ros2-rviz2控制unity仿真的6關節機械臂，探索從仿真到實際應用的過程

搭建開發環境

  • Unity:2022
  • Ubuntu:24.04
  • Ros2:jazzy

在window中安裝Unity

先安裝Unityhuyb，然后再安裝Unity

https://unity.cn/releases

創建Docker容器，并安裝相關軟件

??創建Docker容器

docker run -it -p 6080:80 -p 10000:10000 -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=host.docker.internal:0.0 -e PULSE_SERVER=host.docker.internal --name=DockerUnityRos2Arm docker.1ms.run/ubuntu:24.04  /bin/bash

??安裝相關軟件

# 按照魚香ros一鍵安裝ros2
apt-get update
apt install wget -y
wget http://fishros.com/install -O fishros && bash fishros# 安裝遠程顯示服務程序
sudo apt-get install x11-xserver-utils
sudo apt install libxcb* -y
sudo apt-get install x11-apps -y# 安裝moveit
# 重新打開一個終端
sudo apt install ros-${ROS_DISTRO}-moveit* -y# 安裝ros2的控制功能包
sudo apt install ros-${ROS_DISTRO}-controller-manager -y
sudo apt install ros-${ROS_DISTRO}-joint-trajectory-controller -y
sudo apt install ros-${ROS_DISTRO}-joint-state-broadcaster -y
sudo apt install ros-${ROS_DISTRO}-diff-drive-controller -y# 安裝運行`graph_executer_controller`相關的Python包
sudo apt update
sudo apt install python3-pip -y
sudo apt-get install portaudio19-dev -y
sudo apt install espeak -y# 安裝音頻
apt-get update && apt-get install -y alsa-utils pulseaudio
aplay -L  # 列出音頻設備
# speaker-test -t wav  # 測試播放# 使用清華源下載
cd src/graph_executer_controller/
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --break-system-packages
pip install pyqtgraph ultralytics --break-system-packages# 調試工具
python3 -m pip install ipykernel -U --user --force-reinstall -i https://pypi.tuna.tsinghua.edu.cn/simple --break-system-packages# 配置Ubuntu支持中文
sudo apt-get install language-pack-zh-hans -y
apt install vim -yvim /etc/environment
# 添加內容
LANG="zh_CN.UTF-8"
LANGUAGE="zh_CN:zh:en_US:en"vim /var/lib/locales/supported.d/local
# 添加內容
en_US.UTF-8 UTF-8
zh_CN.UTF-8 UTF-8
zh_CN.GBK GBK
zh_CN GB2312sudo locale-gen# 安裝中文字體
sudo apt-get install fonts-droid-fallback ttf-wqy-zenhei ttf-wqy-microhei fonts-arphic-ukai fonts-arphic-uming -y# 安裝支持playsound的庫
apt-get install libgstrtspserver-1.0-dev gstreamer1.0-rtsp -y

運行測試

??在windows上運行PulseAudio服務

在這里插入圖片描述

??啟動Unity

??編譯項目

colcon build

??啟動tcp，用于ros2與unity連接

source install/setup.bash 
ros2 launch ros_tcp_endpoint endpoint.launch.py

??運行moveitpy_controller

# 打開新的終端
source install/setup.bash
ros2 launch control_server arm_control.launch.py

??運行graph_executer_controller

# 打開新的終端
source install/setup.bash
cd src/graph_executer_controller
python3 main.py

??運行panda_moveit_config的demo.launch.py

# 打開新的終端
source install/setup.bash
ros2 launch panda_moveit_config demo.launch.py

啟動rviz2后，可以看到機械臂會有干涉，現手動調整到不干涉的位置，然后才使用moveitpy控制機械臂，否則無法控制機械臂。

改進

添加刪除節點前的函數調用

問題描述：由于nodegraphqt沒有刪除節點的操作，這里為其添加。

在/usr/local/lib/python3.12/dist-packages/NodeGraphQt/base/graph.py的NodeGraph類的delete_node(self, node, push_undo=True)函數中添加以下內容：

在這里插入圖片描述

if hasattr(node, '_del_node'):node._del_node()

報錯

?框選節點的時候報錯

  File "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py", line 619, in mouseMoveEventself.scene().setSelectionArea(
TypeError: 'PySide6.QtWidgets.QGraphicsScene.setSelectionArea' called with wrong argument types:PySide6.QtWidgets.QGraphicsScene.setSelectionArea(QPainterPath, ItemSelectionMode)
Supported signatures:PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, /, selectionOperation: PySide6.QtCore.Qt.ItemSelectionOperation = Instance(Qt.ReplaceSelection), mode: PySide6.QtCore.Qt.ItemSelectionMode = Instance(Qt.IntersectsItemShape), deviceTransform: PySide6.QtGui.QTransform = Default(QTransform))PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, deviceTransform: PySide6.QtGui.QTransform, /)
Error calling Python override of QGraphicsView::mouseMoveEvent(): Traceback (most recent call last):File "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py", line 619, in mouseMoveEventself.scene().setSelectionArea(
TypeError: 'PySide6.QtWidgets.QGraphicsScene.setSelectionArea' called with wrong argument types:PySide6.QtWidgets.QGraphicsScene.setSelectionArea(QPainterPath, ItemSelectionMode)
Supported signatures:PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, /, selectionOperation: PySide6.QtCore.Qt.ItemSelectionOperation = Instance(Qt.ReplaceSelection), mode: PySide6.QtCore.Qt.ItemSelectionMode = Instance(Qt.IntersectsItemShape), deviceTransform: PySide6.QtGui.QTransform = Default(QTransform))PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, deviceTransform: PySide6.QtGui.QTransform, /)

??Pyside6和nodegraphqt版本不適配導致，更改viewer.py以下位置即可：

# "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py"# self.scene().setSelectionArea(
#     path, QtCore.Qt.IntersectsItemShape
# )
self.scene().setSelectionArea(path,selectionOperation=QtCore.Qt.ItemSelectionOperation.ReplaceSelection,mode=QtCore.Qt.ItemSelectionMode.IntersectsItemShape
)

?如果無法控制機械臂，查看rviz2的終端，應該會有

[move_group-3] [ERROR] [1748613208.480924749] [move_group.moveit.moveit.ros.check_start_state_bounds]: Joint 'panda_joint2' from the starting state is outside bounds by: [1.76294 ] should be in the range [-1.7628 ], [1.7628 ].
[move_group-3] [ERROR] [1748613208.480986559] [move_group]: PlanningRequestAdapter 'CheckStartStateBounds' failed, because 'Start state out of bounds.'. Aborting planning pipeline.

??:重新啟動rviz2即可

?規劃路徑超出范圍

[ERROR] [1742603349.012384448] [moveit_3836862178.moveit.ros.check_start_state_bounds]: Joint 'panda_finger_joint1' from the starting state is outside bounds by: [-6.61565e-14 ] should be in the range [0 ], [0.04 ].
[ERROR] [1742603349.012503158] [moveit_py]: PlanningRequestAdapter 'CheckStartStateBounds' failed, because 'Start state out of bounds.'. Aborting planning pipeline.
[ERROR] [1742603349.013678982] [moveit_py.pose_goal]: Planning failed

??修改joint_limits.yaml，限制關節的最大最小位置

在這里插入圖片描述

參考

  • docker-ros2-unity-tcp-endpoint
  • Robotics-Nav2-SLAM-Example
  • unity坐賽車游戲，簡單三分鐘了解一下
  • How to Setup Unity and ROS2 in less than 5 minutes!
  • ros2-for-unity
  • moveit2_yolobb_ws
  • Unity-Robotics-Hub
  • JSON Output
  • DeepSeek提示庫
  • Binary Installation on Ubuntu
  • Docs / Gazebo Harmonic
  • ros_gz branch jazzy
  • Binary Installation on Ubuntu
  • Docs / Gazebo Harmonic
  • ros_gz branch jazzy

關注👇👇，發送：DockerRos2UnityArm，方便獲取仿真代碼。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/907976.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/907976.shtml
英文地址，請注明出處：http://en.pswp.cn/news/907976.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

Docker 插件生態：從網絡插件到存儲插件的擴展能力解析

Docker 插件生態：從網絡插件到存儲插件的擴展能力解析

Docker 容器技術以其輕量、快速、可移植的特性，迅速成為構建和部署現代應用的核心工具。然而，盡管 Docker Engine 自身功能強大，但在面對多樣化的生產環境和復雜業務需求時，僅靠核心功能往往無法滿足所有場景。 例如，跨主機的容器網絡通信、異構存儲系統的持久化數據管理…
閱讀更多...
飛牛fnNAS使用群輝DSM系統

飛牛fnNAS使用群輝DSM系統

目錄 一、Virtual DSM簡介 二、在飛牛NAS中安裝 1、激活Docker 2、建立路徑 3、創建Compose項目 4、容器啟動 （1）構建容器 （2）容器啟動 5、查看日志 6、登錄DSM地址 7、安裝完成 8、安裝套件示例 9、遠程訪問 10、測試 （1）PC瀏覽器創建筆記 （2）手機創建…
閱讀更多...
關于FPGA軟核的仿真（一）

關于FPGA軟核的仿真（一）

MicroBlaze是Xilinx專為FPGA設計的軟核處理器，其本質是通過FPGA的可編程邏輯資源（如查找表LUT、觸發器Flip-Flop）動態構建的處理器架構，其本質為搭建處理器電路。MicroBlaze上運行嵌入式C代碼程序，通過CoreConnect總線…
閱讀更多...
戶外攝像頭監控如何兼顧安全實時監控

戶外攝像頭監控如何兼顧安全實時監控

一、技術手段提升隱私安全性 硬件與功能設計 采用支持隱私保護技術的設備，例如帶電子開關的攝像頭（可遠程控制攝像頭啟閉）3，或搭載本地AI算法的設備，僅識別人形、車輛等目標，減少無關信息采集。 使用安全…
閱讀更多...
【C#朗讀文本DLL動態按鈕控件組及按鈕事件文本框拖放數據】2022-1-21

【C#朗讀文本DLL動態按鈕控件組及按鈕事件文本框拖放數據】2022-1-21

緣由https://bbs.csdn.net/topics/604357098 DotNetSpeech.dll下載_DotNetSpeech.dll免費版下載 - 系統之家 dotnetspeech.dll 64下載-dotnetspeech.dll下載 v10.2 官方版-IT貓撲網 下載了一個DotNetSpeech.dll，放到 \bin\Debug里，添加引用，…
閱讀更多...
＜5＞, Qt系統相關

＜5＞, Qt系統相關

目錄 一、Qt 事件 1，事件的定義 2，事件的處理 3，鼠標事件 4，按鍵事件 5，定時器 6，事件分發器 7，事件過濾器 二、Qt 文件 1，輸入輸出類 2，文件讀寫類 3&#x…
閱讀更多...
WordPress主題代碼優化深度指南

WordPress主題代碼優化深度指南

引言：為何主題優化至關重要 WordPress作為全球最流行的內容管理系統，其性能表現直接關系到用戶體驗和網站成功。主題代碼優化不僅能夠： 提升頁面加載速度（Google研究表明，頁面加載時間每增加1秒，跳出率增加…
閱讀更多...
數據結構第6章 圖（竟成）

數據結構第6章 圖（竟成）

第 6 章 圖 【考綱內容】 1.圖的基本概念 2.圖的存儲及基本操作：(1) 鄰接矩陣法；(2) 鄰接表法；(3) 鄰接多重表、十字鏈表 3.圖的遍歷：(1) 深度優先搜索；(2) 廣度優先搜索 4.圖的基本應用：(1) 最小 (代價) 生…
閱讀更多...
【ROS2實體機械臂驅動】rokae xCoreSDK Python測試使用

【ROS2實體機械臂驅動】rokae xCoreSDK Python測試使用

【ROS2實體機械臂驅動】rokae xCoreSDK Python測試使用 文章目錄 前言正文配置環境下載源碼配置環境變量測試運行修改點說明實際運行情況 參考 前言 本文用來記錄 xCoreSDK-Python的調用使用1。 正文 配置環境 配置開發環境，這里使用conda做python環境管理&…
閱讀更多...
黑馬Java面試筆記之MySQL篇（優化）

黑馬Java面試筆記之MySQL篇（優化）

一. 慢查詢 在MySQL中，如何定位慢查詢？ 出現慢查詢的情況有以下幾種： 聚合查詢多表查詢表數據量過大查詢深度分頁查詢 表象：頁面加載過慢，接口壓測響應時間過長（超過1s） 1.2 如何定位慢查詢&…
閱讀更多...
歷史數據分析——廣州港

歷史數據分析——廣州港

個股簡介 公司簡介： 華南地區最大的綜合性主樞紐港。 本公司是由廣州港集團、國投交通、廣州發展作為發起人，共同出資以發起方式設立的股份有限公司。 經營分析： 一般經營項目：企業管理服務（涉及許可經營項目的除外）；港務船舶調度服務；船舶通信服務；企業自有資金…
閱讀更多...
圖解gpt之Transformer架構與設計原理

圖解gpt之Transformer架構與設計原理

Transformer架構。它不僅僅是一個模型，更是一種范式，徹底改變了我們理解和處理自然語言的方式。 2017年，谷歌大腦團隊發表了一篇劃時代的論文，題目就叫《Attention is All You Need》。這標題本身就充滿了力量，宣告了…
閱讀更多...
HCIP：MPLS靜態LSP的配置及抓包

HCIP：MPLS靜態LSP的配置及抓包

目錄 一、MPLS的簡單的一些知識點 1.MPLS的概述： 2.MPLS工作原理： 3.MPLS的核心組件： 4. MPLS標簽 5.MPLS標簽的處理 6.MPLS轉發的概述： 7.MPLS的靜態LSP建立方式 二、MPLS的靜態LSP的實驗配置 1.配置接口的地址和配置OS…
閱讀更多...
Azure DevOps 管道部署系列之一本地服務器

Azure DevOps 管道部署系列之一本地服務器

Azure DevOps 是一個幫助改進 SDLC（軟件開發生命周期）的平臺。 在本文中，我們將使用 Azure Pipelines 創建自動化部署。 Azure DevOps 團隊將 Azure Pipelines 定義為“使用 CI/CD 構建、測試和部署，適用于任何語言、平臺和云平臺”。 在這里，我將解釋如何在 Azure Dev…
閱讀更多...
深入剖析網絡協議：七層協議與四層協議詳解

深入剖析網絡協議：七層協議與四層協議詳解

在計算機網絡的世界中，數據的傳輸與交互離不開協議的規范。其中，七層協議和四層協議是網絡通信架構的核心概念，它們如同網絡世界的 “交通規則”，保障著數據準確、高效地在不同設備間流轉。本文將深入解讀七層協議與四層協議&…
閱讀更多...
回頭看，FPGA+RK3576方案的功耗性能優勢

回頭看，FPGA+RK3576方案的功耗性能優勢

作者：Hello,Panda 各位朋友，大家好，熊貓君這次開個倒車，在這個廣泛使用Xilinx（Altera）高端SoC的時代，分享一個“FPGAARM”實現的低功耗高性能傳統方案。 圖1 瑞芯微RK3576電路 當前&#xff0c…
閱讀更多...
打造極致計算器：HTML+Tailwind+DaisyUI實戰

打造極致計算器：HTML+Tailwind+DaisyUI實戰

一、計算器總體描述 創建一個在線計算器來實現基礎數學運算功能，通過單一頁面集成數字按鈕、運算符按鈕和顯示結果區域，界面采用簡潔直觀的布局設計，按鈕排列合理且提供即時運算反饋，確保計算邏輯準確和良好的按鍵響應體驗&#x…
閱讀更多...
基于mediapipe深度學習的虛擬畫板系統python源碼

基于mediapipe深度學習的虛擬畫板系統python源碼

目錄 1.前言 2.算法運行效果圖預覽 3.算法運行軟件版本 4.部分核心程序 5.算法仿真參數 6.算法理論概述 7.參考文獻 8.算法完整程序工程 1.前言 虛擬畫板系統基于計算機視覺與深度學習技術，通過攝像頭捕獲用戶手部動作，利用 MediaPipe框架實現手…
閱讀更多...
開源的JT1078轉GB28181服務器

開源的JT1078轉GB28181服務器

JT1078轉GB28181流程 項目地址： JT1078轉GB28181的流媒體服務器: https://github.com/lkmio/lkm JT1078轉GB28181的信令服務器: https://github.com/lkmio/gb-cms 1. 創建GB28181 UA 調用接口: http://localhost:9000/api/v1/jt/device/add 請求體如下&#xf…
閱讀更多...
元器件基礎學習筆記——雙極結型晶體管 （BJT）

元器件基礎學習筆記——雙極結型晶體管 （BJT）

一、概述 1.1 基本結構 雙極結型晶體管（Bipolar Junction Transistor）由發射極（Emitter）、基極（Base）和集電極（Collector）三個摻雜程度不同的半導體區域組成，分別對應有…
閱讀更多...
最新文章

Copyright @ 2022~2023