ubuntu20.04基于tensorRT和c++跑yolo11

設備

系統：Ubuntu 20.04
顯卡：NVIDIA GeForce RTX 3050
顯卡驅動： Driver Version: 535.183.01 CUDA Version: 12.2

關鍵軟件版本總結

Cmake: 3.28.6
Cuda： 12.2.2
Cudnn: 8.9.7
TensorRT: 10.8.0.43
Python：3.10.16

環境配置步驟

1、安裝高版本cmake

由于用到的tensorRT_yolo工具需要cmake 3.18以上，所以按如下辦法卸載了原有的cmake 3.16，重裝了cmake 3.28.6
https://zhuanlan.zhihu.com/p/519732843
注意按照如上辦法卸載cmake時，會順帶卸載掉你設備上的ros環境，之后需要重裝ros

2、重裝ros

經過上面第一個步驟，原有ros被卸載，重裝一下ros，是否安裝ros和跑tensorRT沒有關系，只是我這邊后面會用到ros，所以裝了，步驟參考：
ros安裝（一鍵最簡安裝，吹爆魚香ROS，請叫我魚吹）

3、多版本切換CUDA

設備的顯卡驅動最高支持cuda 12.2.2，所以選擇該版本使用。
設備上有很多個cuda版本（/usr/local/ 路徑下看），這里需要用到cuda 12.2.2，所以安裝如下方法實現多版本cuda共存，并指定使用cuda 12.2.2:
ubuntu 20.04下多版本cuda&cudnn下載與安裝
安裝之后，除了根據以上鏈接設置cuda軟連接之外，還需要配置下環境變量：
在~/.bashrc文件中添加如下內容

# CUDA enviroment variable
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

4、安裝TensorRT

下載TensorRT: https://developer.nvidia.com/tensorrt/download
我開始選擇了如下兼容cuda 12版本的tensorRT的tar包，如下選項
TensorRT 10.7 GA for Linux x86_64 and CUDA 12.0 to 12.6 TAR Package
但是安裝后發現，使用trtexec工具會報錯：

(py310_yolo) tl@tl-Default-string:~/code/tensorRT_test$ trtexec --version
&&&& RUNNING TensorRT.trtexec [TensorRT v100700] [b23] # trtexec --version
Cuda failure at /_src/samples/common/safeCommon.h:262: unknown error

于是改為下載TensorRT 10.8版本，選擇如下選項：
TensorRT 10.8 GA for Linux x86_64 and CUDA 12.0 to 12.8 TAR Package
解壓：
tar -xvzf TensorRT-10.7.0.23.Linux.x86_64-gnu.cuda-12.6.tar.gz
將解壓后的所有文件剪切到目錄：

sudo mv TensorRT-10.8.0.43 /usr/local

設置環境變量
gedit ~/.bashrc
添加TensorRT環境變量

export PATH=$PATH:/usr/local/TensorRT-10.8.0.43/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/TensorRT-10.8.0.43/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/TensorRT-10.8.0.43/targets/x86_64-linux-gnu/lib

安裝后，其中有個叫trtexec的工具，這個可以用來將.onnx模型轉成TensorRT的序列化.engine模型文件：

(py310_yolo) tl@tl-Default-string:~$ whereis trtexec
trtexec: /usr/local/TensorRT-10.8.0.43/targets/x86_64-linux-gnu/bin/trtexec(py310_yolo) tl@tl-Default-string:~$ trtexec --version
&&&& RUNNING TensorRT.trtexec [TensorRT v100800] [b43] # trtexec --version
[07/09/2025-14:25:23] [I] TF32 is enabled by default. Add --noTF32 flag to further improve accuracy with some performance cost.
=== Model Options ===--onnx=<file>               ONNX model
...

5、安裝python虛擬環境

由于后面的TensorRT_yolo需要用到python虛擬環境，且需要python 3.9以上的版本，我選擇了訓練yolo 11時所用的python 3.10.16，安裝步驟參考：
ubuntu創建指定版本python虛擬環境

6、配置TensorRT-YOLO工具

TensorRT-YOLO編譯安裝，參考如下
快速編譯安裝
若看不明白官方參考，可以無腦按我如下步驟配置
首先，克隆 TensorRT-YOLO 倉庫：

git clone https://github.com/laugh12321/TensorRT-YOLO
cd TensorRT-YOLO

然后使用 CMake，按照以下步驟操作：

pyenv activate py310_yolo    # 激活前面安裝的python 3.10.16虛擬環境，后面要用到python相關的步驟都得在此環境下操作
pip install "pybind11[global]"
cmake -S . -B build -DTRT_PATH=/usr/local/tensorrt -DBUILD_PYTHON=ON
cmake --build build -j$(nproc) --config Release

構建最新版本的 tensorrt_yolo，并安裝：

cd TensorRT-YOLO/python
pip install --upgrade build
python -m build --wheel# 安裝模型導出及推理相關依賴
pip install /home/tl/code/TensorRT-YOLO/python/dist/tensorrt_yolo-6.2.0-py3-none-any.whl[export]

注意以上最后一個步驟跟官方的有點不一樣，用的是安裝包的絕對路徑，以防出錯。
經過第6步，會有個trtyolo工具生成，這個可以用來將python訓練的yolo11.pt模型裝成.onnx模型：

(py310_yolo) tl@tl-Default-string:~$ whereis trtyolo
trtyolo: /home/tl/.pyenv/shims/trtyolo /home/tl/.local/bin/trtyolo

7、獨立使用Detect功能

上面第6步驟安裝好了TensorRT-YOLO工具，可以按照其說明，在該工具工程下使用detect、segment、obb等各種功能，具體參考官方文檔：
在這里插入圖片描述
但是我們寫的算法工程需要獨立于該工具，且只需要用到其中的Detect功能，那么只需從工具如下目錄中，

..//TensorRT-YOLO/examples/detect

拷貝出如下內容，形成單獨的工程即可，圖中紅框為從上面路徑必須拷貝的文件
在這里插入圖片描述

其中，labels.txt改為你自己的所需的類名，CMakeLists.txt針對ubuntu系統做了刪減，CMakeLists.txt內容如下：

cmake_minimum_required(VERSION 3.18)#-------------------------------------------------------------------------------
# 項目基礎配置
#-------------------------------------------------------------------------------
project(detect LANGUAGES CXX CUDA)# 生成編譯數據庫（供clangd等工具使用）
set(CMAKE_EXPORT_COMPILE_COMMANDS ON)# 設置 C++ 標準
set(CMAKE_CXX_STANDARD 17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)
set(CMAKE_CXX_EXTENSIONS OFF)#-------------------------------------------------------------------------------
# 依賴配置
#-------------------------------------------------------------------------------
find_package(OpenCV REQUIRED)# CUDA 配置
find_package(CUDAToolkit REQUIRED)# 允許用戶覆蓋默認的 CUDA 架構
if(NOT DEFINED CMAKE_CUDA_ARCHITECTURES)set(CMAKE_CUDA_ARCHITECTURES "89;86;75;70;61")  # 默認支持架構
endif()# TensorRT 路徑配置
set(TRT_PATH /usr/local/TensorRT-10.8.0.43)
if(NOT TRT_PATH)message(FATAL_ERROR "TensorRT path must be specified with -DTRT_PATH=/path/to/tensorrt")
endif()# 定義 TensorRT 庫的版本選擇
set(TRT_LIB_DIR "${TRT_PATH}/lib")
set(TRT_LIBS nvinfer nvinfer_plugin nvonnxparser)#-------------------------------------------------------------------------------
# 編譯工具鏈配置
#-------------------------------------------------------------------------------
function(set_target_compile_options target)# GCC/Clang 配置# C++編譯選項target_compile_options(${target} PRIVATE$<$<AND:$<CONFIG:Release>,$<COMPILE_LANGUAGE:CXX>>:-O3 -march=native -flto=auto -DNDEBUG>$<$<AND:$<CONFIG:Debug>,$<COMPILE_LANGUAGE:CXX>>:-O0 -g3 -fno-omit-frame-pointer -fno-inline>)# CUDA編譯選項target_compile_options(${target} PRIVATE$<$<COMPILE_LANGUAGE:CUDA>:-Xcompiler=-Wno-deprecated-declarations>$<$<AND:$<CONFIG:Release>,$<COMPILE_LANGUAGE:CUDA>>:-O3>$<$<AND:$<CONFIG:Debug>,$<COMPILE_LANGUAGE:CUDA>>:-g -G>)target_link_options(${target} PRIVATE $<$<AND:$<CONFIG:Release>,$<COMPILE_LANGUAGE:CXX>>:-O3 -flto=auto>$<$<AND:$<CONFIG:Debug>,$<COMPILE_LANGUAGE:CXX>>:-g3>)# 跨平臺宏定義target_compile_definitions(${target} PRIVATE$<$<CONFIG:Debug>:DEBUG>$<$<NOT:$<CONFIG:Debug>>:NDEBUG>)
endfunction()#-------------------------------------------------------------------------------
# TensorRT/CUDA 目標配置
#-------------------------------------------------------------------------------
function(configure_cuda_trt_target target)# 包含目錄target_include_directories(${target} PRIVATE${TRT_PATH}/include)# 鏈接目錄target_link_directories(${target} PRIVATE${TRT_LIB_DIR})# 添加鏈接庫target_link_libraries(${target} PRIVATECUDA::cudart${TRT_LIBS})# CUDA 特性set_target_properties(${target} PROPERTIESCUDA_SEPARABLE_COMPILATION ONCUDA_RESOLVE_DEVICE_SYMBOLS ON)
endfunction()#-------------------------------------------------------------------------------
# 可執行文件
#-------------------------------------------------------------------------------
add_executable(detect ${PROJECT_SOURCE_DIR}/src/detect.cpp)
configure_cuda_trt_target(detect)
set_target_compile_options(detect)set(DEPLOY_PATH /home/tl/code/TensorRT-YOLO)# 包含頭文件目錄
target_include_directories(detect PRIVATE${OpenCV_INCLUDE_DIRS}${DEPLOY_PATH}
)# 鏈接庫目錄
target_link_directories(detect PRIVATE${DEPLOY_PATH}/lib
)# 私有鏈接庫
target_link_libraries(detect PRIVATE${OpenCV_LIBS}deploy
)# 模塊配置
set_target_properties(detect PROPERTIESOUTPUT_NAME "detect"RUNTIME_OUTPUT_DIRECTORY "${PROJECT_SOURCE_DIR}/bin"RUNTIME_OUTPUT_DIRECTORY_DEBUG "${PROJECT_SOURCE_DIR}/bin"RUNTIME_OUTPUT_DIRECTORY_RELEASE "${PROJECT_SOURCE_DIR}/bin"
)

上面CMakeLists.txt內容注意設置你的TensorRT-YOLO工具目錄，set(DEPLOY_PATH /home/tl/code/TensorRT-YOLO)
如此編譯你的單獨工程，會自動生成bin目錄，有個名為detect的可執行文件，用此文件即可推理你的圖片了。
推理過程
首先參考官方文檔，生成.engine模型文件：
https://github.com/laugh12321/TensorRT-YOLO/blob/main/examples/detect/README.md
然后到你自己的工程
使用以下命令運行推理：

cd bin
./detect -e ../models/yolo11n.engine -i ../images -o ../output -l ../labels.txt