本專欄博客第49篇文章分享了將 GroundingDINO模型導出onnx并使用c++進行部署，并嘗試將onnx模型轉換為trt模型，fp16進行推理，可以發現推理速度提升了一倍。為此對GroundingDINO的trt推理進行調研，發現
在GroundingDINO-TensorRT-and-ONNX-Inference項目中分享了模型導出onnx轉trt格式，并分享了python-trt推理代碼，但沒有c++推理代碼。為此，博主基于https://github.com/hpc203/GroundingDINO-onnxrun項目分享的onnx c++推理代碼，修改為GroundingDINO模型的tensorrt推理代碼。對于600x400的輸入，在3060顯卡下，cuda 12.1，TensorRT-10.4.0，window環境下53ms處理完一張圖片。
1、前置操作
1.1 trt模型導出
參考
)
)
)
