【深度學習】【目標檢測】【OnnxRuntime】【C++】YOLOV5模型部署
提示:博主取舍了很多大佬的博文并親測有效,分享筆記邀大家共同學習討論
文章目錄
- 【深度學習】【目標檢測】【OnnxRuntime】【C++】YOLOV5模型部署
- 前言
- Windows平臺搭建依賴環境
- 模型轉換--pytorch轉onnx
- ONNXRuntime推理代碼
- 完整推理代碼
- 總結
前言
本期將講解深度學習目標檢查網絡YOLOV5模型的部署，對于該算法的基礎知識，可以參考其他博主博文。
讀者可以通過學習【OnnxRuntime部署】系列學習文章目錄的C++篇* 的內容，系統的學習OnnxRuntime部署不同任務的onnx模型。
Windows平臺搭建依賴環境
在【入門基礎篇】中詳細的介紹了onnxruntime環境的搭建以及ONNXRuntime推理核心流程代碼，不再重復贅述。
模型轉換–pytorch轉onnx
本博文將通過Ultralytics–YOLOv5算法的口罩檢測項目【參考博文：Windows11下YOLOV5口罩目標檢測】，簡要介紹YOLOV5模型部署。
在博文Windows11下YOLOV5口罩目標檢測項目中已經通過以下命令導出了onnx模型：
python export.py --weights runs/train/exp/weights/best.pt --include onnx
【yolov5s-mask.onnx百度云鏈接，提取碼：15v2 】直接下載使用即可。
ONNXRuntime推理代碼
利用可視化工具查看onnx模型結構： 通過可視化Netron工具【在線工具】，展示模型的層次結構、參數細節等。
將onnx模型上傳到在線Netron可視化工具：
簡單說明下輸出代表的含義：：1代表batchsize；25200代表檢測框的個數；7代表框的詳細信息：即框中心點xy+框寬高hw+框置信度conf+框分類個數(這里是2)。
完整推理代碼
需要配置mask_classes.txt文件存儲人臉的分類標簽，并將其放置到工程目錄下(推薦)。
without-mask
mask
這里需要將yolov5s-mask.onnx放置到工程目錄下(推薦)，并且將以下推理代碼拷貝到新建的cpp文件中，并執行查看結果。
#include "onnxruntime_cxx_api.h"
#include "cpu_provider_factory.h"
#include <opencv2/opencv.hpp>
#include <fstream>// 加載標簽文件獲得分類標簽
std::string labels_txt_file = "./mask_classes.txt";
std::vector<std::string> readClassNames();
std::vector<std::string> readClassNames()
{std::vector<std::string> classNames;std::ifstream fp(labels_txt_file);if (!fp.is_open()){printf("could not open file...\n");exit(-1);}std::string name;while (!fp.eof()){std::getline(fp, name);if (name.length())classNames.push_back(name);}fp.close();return classNames;
}int main(int argc, char** argv) {// 預測的目標標簽數std::vector<std::string> labels = readClassNames();// 測試圖片cv::Mat frame = cv::imread("./mask.jpg");cv::imshow("輸入圖", frame);// ******************* 1.初始化ONNXRuntime環境 *******************Ort::Env env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "YOLOV5-onnx");// ***************************************************************// ******************* 2.設置會話選項 *******************// 創建會話Ort::SessionOptions session_options;// 優化器級別:基本的圖優化級別session_options.SetGraphOptimizationLevel(ORT_ENABLE_BASIC);// 線程數:4session_options.SetIntraOpNumThreads(4);// 設備使用優先使用GPU而是才是CPUstd::cout << "onnxruntime inference try to use GPU Device" << std::endl;OrtSessionOptionsAppendExecutionProvider_CUDA(session_options, 0);OrtSessionOptionsAppendExecutionProvider_CPU(session_options, 1);// ******************************************************// ******************* 3.加載模型并創建會話 *******************// onnx訓練模型文件std::string onnxpath = "./yolov5s-mask.onnx";std::wstring modelPath = std::wstring(onnxpath.begin(), onnxpath.end());Ort::Session session_(env, modelPath.c_str(), session_options);// ************************************************************// ******************* 4.獲取模型輸入輸出信息 *******************int input_nodes_num = session_.GetInputCount(); // 輸入節點輸int output_nodes_num = session_.GetOutputCount(); // 輸出節點數std::vector<std::string> input_node_names; // 輸入節點名稱std::vector<std::string> output_node_names; // 輸出節點名稱Ort::AllocatorWithDefaultOptions allocator; // 創建默認配置的分配器實例,用來分配和釋放內存 // 輸入圖像尺寸int input_h = 0;int input_w = 0;// 獲取模型輸入信息for (int i = 0; i < input_nodes_num; i++) {// 獲得輸入節點的名稱并存儲auto input_name = session_.GetInputNameAllocated(i, allocator);input_node_names.push_back(input_name.get());// 顯示輸入圖像的形狀auto inputShapeInfo = session_.GetInputTypeInfo(i).GetTensorTypeAndShapeInfo().GetShape();int ch = inputShapeInfo[1];input_h = inputShapeInfo[2];input_w = inputShapeInfo[3];std::cout << "input format: " << ch << "x" << input_h << "x" << input_w << std::endl;}// 獲取模型輸出信息int nums;int nbs;int ncs;for (int i = 0; i < output_nodes_num; i++) {// 獲得輸出節點的名稱并存儲auto output_name = session_.GetOutputNameAllocated(i, allocator);output_node_names.push_back(output_name.get());// 顯示輸出結果的形狀auto outShapeInfo = session_.GetOutputTypeInfo(i).GetTensorTypeAndShapeInfo().GetShape();nums = outShapeInfo[0];nbs = outShapeInfo[1];ncs = outShapeInfo[2];std::cout << "output format: " << nums << "x" << nbs << "x" << ncs << std::endl;}// **************************************************************// ******************* 5.輸入數據預處理 *******************// 原始圖像的寬高int w = frame.cols;int h = frame.rows;// 原始圖像與輸入圖像之間的縮放系數float x_factor = 0.0;float y_factor = 0.0;// 獲得原始圖像中寬高中的長邊,最為變換正方形的邊長int _max = std::max(h, w); // 將原始的矩形圖像放大變換成正方形圖像,默認補零cv::Mat image = cv::Mat::zeros(cv::Size(_max, _max), CV_8UC3);cv::Rect roi(0, 0, w, h);frame.copyTo(image(roi));// 計算寬高的縮放系數,模型的輸入恒定為640×640,必須強制轉換成浮點數x_factor = image.cols / static_cast<float>(640); y_factor = image.rows / static_cast<float>(640);// 完成歸一化:1.0 / 255.0;縮放:cv::Size(input_w, input_h);格式轉換(BGR轉RGB):truecv::Mat blob = cv::dnn::blobFromImage(image, 1.0 / 255.0, cv::Size(input_w, input_h), cv::Scalar(0, 0, 0), true, false);std::cout << blob.size[0] << "x" << blob.size[1] << "x" << blob.size[2] << "x" << blob.size[3] << std::endl;// ********************************************************// ******************* 6.推理準備 *******************// 占用內存大小,后續計算是總像素*數據類型大小size_t tpixels = 3 * input_h * input_w;std::array<int64_t, 4> input_shape_info{ 1, 3, input_h, input_w };// 準備數據輸入auto allocator_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeCPU);Ort::Value input_tensor_ = Ort::Value::CreateTensor<float>(allocator_info, blob.ptr<float>(), tpixels, input_shape_info.data(), input_shape_info.size());// 模型輸入輸出所需數據(名稱及其數量),模型只認這種類型的數組const std::array<const char*, 1> inputNames = { input_node_names[0].c_str() };const std::array<const char*, 1> outNames = { output_node_names[0].c_str()};// **************************************************// ******************* 7.執行推理 *******************std::vector<Ort::Value> ort_outputs;try {ort_outputs = session_.Run(Ort::RunOptions{ nullptr }, inputNames.data(), &input_tensor_, 1, outNames.data(), outNames.size());}catch (std::exception e) {std::cout << e.what() << std::endl;}// **************************************************// ******************* 8.后處理推理結果 *******************// 1x25200x6 獲取(第一個)輸出數據并包裝成一個cv::Mat對象,為了方便后處理const float* pdata = ort_outputs[0].GetTensorMutableData<float>();cv::Mat det_output(nbs, ncs, CV_32F, (float*)pdata);std::vector<cv::Rect> boxes; // 目標框的坐標位置std::vector<float> confidences; // 目標框的置信度std::vector<int> classIds; // 目標框的類別得分// 剔除置信度較低的目標框,不作處理for (int i = 0; i < det_output.rows; i++) {float confidence = det_output.at<float>(i, 4);if (confidence < 0.45) {continue;}// 獲得當前目標框的類別得分cv::Mat classes_scores = det_output.row(i).colRange(5, ncs);// 這里與圖像分類的方式一致cv::Point classIdPoint; // 用于存儲分類中的得分最大值索引(坐標)double score; // 用于存儲分類中的得分最大值minMaxLoc(classes_scores, 0, &score, 0, &classIdPoint);// 處理分類得分較高的目標框if (score > 0.25){ // 計算在原始圖像上,目標框的左上角坐標和寬高// 在輸入圖像上目標框的中心點坐標和寬高float cx = det_output.at<float>(i, 0); float cy = det_output.at<float>(i, 1);float ow = det_output.at<float>(i, 2);float oh = det_output.at<float>(i, 3);//原始圖像上目標框的左上角坐標int x = static_cast<int>((cx - 0.5 * ow) * x_factor); int y = static_cast<int>((cy - 0.5 * oh) * y_factor);//原始圖像上目標框的寬高int width = static_cast<int>(ow * x_factor);int height = static_cast<int>(oh * y_factor);// 記錄目標框信息cv::Rect box;box.x = x;box.y = y;box.width = width;box.height = height;boxes.push_back(box);classIds.push_back(classIdPoint.x);confidences.push_back(score);}}// NMS:非極大值抑制(Non-Maximum Suppression),去除同一個物體的重復多余的目標框std::vector<int> indexes; // 剔除多余目標框后,保留的目標框的序號cv::dnn::NMSBoxes(boxes, confidences, 0.25, 0.45, indexes);// 遍歷篩選出的目標框for (size_t i = 0; i < indexes.size(); i++) {int idx = indexes[i]; // 獲取當前目標框序號int cid = classIds[idx]; // 獲取目標框分類得分// 輸入/輸出圖像:frame;目標位置信息:boxes[idx];目標框顏色: cv::Scalar(0, 0, 255);// 邊框線的厚度:4;線條類型:8;坐標點小數位數精度:0(通常為0)cv::rectangle(frame, boxes[idx], cv::Scalar(0, 0, 255), 4, 8, 0); // 在原始圖片上框選目標區域// 輸入/輸出圖像:frame;繪制文本內容:labels[cid].c_str();文本起始位置(左下角):boxes[idx].tl();// 字體類型:cv::FONT_HERSHEY_PLAIN;字體大小縮放比例:2.5;文本顏色:cv::Scalar(255, 0, 0);文本線條的厚度:3;線條類型:8putText(frame, labels[cid].c_str(), boxes[idx].tl(), cv::FONT_HERSHEY_PLAIN, 2.5, cv::Scalar(255, 0, 0), 3, 8); // 目標區域的類別}// ********************************************************// 在測試圖像上加上預測的目標位置和類別cv::imshow("輸入圖像", frame);cv::waitKey(0);// ******************* 9.釋放資源*******************session_options.release();session_.release();// *************************************************return 0;
}
圖片正確識別是否帶著口罩：
總結
盡可能簡單、詳細的講解了C++下OnnxRuntime環境部署YOLOV5模型的過程。
 Apache ECharts+數據統計)
