目錄
- 一、概述
- 1.1 背景介紹:從“看見”到“看懂”
- 1.2 學習目標
- 二、圖像預處理:讓目標更突出
- 三、輪廓發現與尺寸測量
- 四、總結與展望
一、概述
1.1 背景介紹:從“看見”到“看懂”
在上一篇文章中,我們成功地為應用程序安裝了“眼睛”——集成了OpenCV并實現了圖像的加載與顯示。現在,我們的程序已經能夠“看見”螺絲了。然而,僅僅看見是不夠的,機器視覺的核心價值在于能像人一樣“看懂”圖像,從中提取出有用的信息。
本篇文章的核心任務,就是實現從“看見”到“看懂”的第一次跨越。我們將利用OpenCV強大的圖像處理能力,編寫第一個真正的視覺算法——自動測量螺絲的尺寸。這是一種經典的、非接觸式的測量應用,在工業生產中非常常見。通過這個實戰,讀者將直觀地感受到傳統視覺算法是如何通過一系列步驟,從像素中提取出幾何信息的。
1.2 學習目標
通過本篇的學習,讀者將能夠:
- 掌握圖像預處理的基本技術,如灰度轉換和二值化,這是讓計算機能夠“理解”圖像的關鍵步驟。
- 學習并實踐OpenCV中一個核心的算法——輪廓發現(Contour Finding)。
- 利用發現的輪廓,計算其最小外接矩形(Min Area Rect),從而精確地獲得螺絲的長度和寬度。
- 將計算出的尺寸信息和判定結果,通過信號傳遞回QML界面進行顯示。
二、圖像預處理:讓目標更突出
計算機不像人眼那樣智能,一張彩色的原始圖像對它來說只是一堆復雜的RGB像素值。為了讓計算機能夠輕松地識別出我們感興趣的目標(螺絲),必須先對圖像進行預處理,其核心目的就是簡化圖像,增強目標特征,減弱背景干擾。
【例6-1】 圖像灰度化與二值化。
1. 修改Backend (backend.cpp)
我們將繼續在Backend::startScan()
函數中進行修改。在加載圖像之后,增加灰度轉換和二值化的步驟。
// backend.cpp
#include "backend.h"
// ... (之前的include保持不變)// ... (matToQImage輔助函數保持不變)Backend::Backend(QObject *parent) : QObject(parent) {}void Backend::startScan()
{// ... (加載圖像的代碼保持不變)QString imagePath = QDir::currentPath() + "/../../dataset/screw/test/scratch_head/000.png";cv::Mat sourceMat = cv::imread(imagePath.toStdString());if (sourceMat.empty()) { /* ... 錯誤處理 ... */ return; }emit statusMessageChanged("圖像加載成功,開始預處理...");// --- 1. 灰度轉換 ---// 將BGR彩色圖像轉換為單通道的灰度圖像cv::Mat grayMat;cv::cvtColor(sourceMat, grayMat, cv::COLOR_BGR2GRAY);// --- 2. 二值化 ---// 將灰度圖像轉換為只有黑白兩種顏色的二值圖像// 此處使用OTSU方法自動尋找最佳閾值cv::Mat binaryMat;cv::threshold(grayMat, binaryMat, 0, 255, cv::THRESH_BINARY_INV | cv::THRESH_OTSU);// 為了在UI上直觀展示處理結果,我們暫時只顯示二值化后的圖像QImage imageQ = matToQImage(binaryMat);if (imageQ.isNull()){ /* ... 錯誤處理 ... */ return; }m_imageProvider->updateImage(imageQ);emit imageReady("screw_processed");emit statusMessageChanged("圖像預處理完成!");
}
2. 運行結果
再次運行程序并點擊“開始檢測”,現在界面上顯示的不再是原始的彩色螺絲圖片,而是一張清晰的黑白輪廓圖。在這張圖中,螺絲主體是白色(像素值為255),背景是黑色(像素值為0),目標物被完美地凸顯了出來。
關鍵代碼分析:
(1) cv::cvtColor(...)
: OpenCV中用于色彩空間轉換的函數。cv::COLOR_BGR2GRAY
是一個預定義的常量,表示從BGR色彩空間轉換到灰度空間。
(2) cv::threshold(...)
: 二值化函數。它將圖像中所有像素值大于閾值的像素設為一個值(如255),小于等于閾值的設為另一個值(如0)。
(3) THRESH_BINARY_INV
: 表示反向二值化。因為我們的螺絲比背景暗,普通二值化后螺絲會變黑。使用反向二值化,可以讓暗的螺絲變成白色,方便后續處理。
(4) THRESH_OTSU
: 這是一個非常智能的標志。當使用它時,我們傳遞的閾值參數(這里是0)會被忽略,threshold
函數會自動計算出一個最優的全局閾值來分割前景和背景。這對于光照不均的場景非常有效。
三、輪廓發現與尺寸測量
經過預處理后,圖像中的螺絲已經變成了一個清晰的白色區域。現在,我們可以讓OpenCV去“尋找”這個白色區域的邊界,這個邊界就是輪廓。
【例6-2】 尋找輪廓并計算最小外接矩形。
1. 修改Backend (backend.cpp)
在二值化之后,加入輪廓發現和幾何計算的邏輯。
// backend.cpp
// ...
#include <vector> // C++標準庫,用于存儲輪廓// ... (matToQImage輔助函數)void Backend::startScan()
{// ... (加載圖像、灰度化、二值化的代碼保持不變) ...cv::Mat sourceMat = cv::imread(...);cv::Mat binaryMat;// ... cv::threshold(...) ...emit statusMessageChanged("預處理完成,開始尋找輪廓...");// --- 3. 輪廓發現 ---std::vector<std::vector<cv::Point>> contours;cv::findContours(binaryMat, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);// 假設最大輪廓就是我們的螺絲if (contours.empty()) {emit statusMessageChanged("錯誤:未在圖像中找到任何輪廓!");return;}// 尋找面積最大的輪廓double maxArea = 0;int maxAreaIdx = -1;for (int i = 0; i < contours.size(); i++) {double area = cv::contourArea(contours[i]);if (area > maxArea) {maxArea = area;maxAreaIdx = i;}}if (maxAreaIdx == -1) {// ... 錯誤處理return;}// --- 4. 尺寸測量 ---// 計算最大輪廓的最小外接矩形cv::RotatedRect rotatedRect = cv::minAreaRect(contours[maxAreaIdx]);// 獲取矩形的尺寸。注意:width和height不一定是物理的長和寬cv::Size2f rectSize = rotatedRect.size;float width = std::min(rectSize.width, rectSize.height);float length = std::max(rectSize.width, rectSize.height);qDebug() << "Measured dimensions (pixels): Length =" << length << ", Width =" << width;QString resultMessage = QString("測量結果: 長度= %1 px, 寬度= %2 px").arg(length, 0, 'f', 2).arg(width, 0, 'f', 2);// --- 5. 結果可視化 ---// 為了直觀展示,我們在原始彩色圖上把輪廓和矩形畫出來// 獲取矩形的四個頂點cv::Point2f vertices[4];rotatedRect.points(vertices);// 將輪廓和矩形畫在sourceMat上cv::drawContours(sourceMat, contours, maxAreaIdx, cv::Scalar(0, 255, 0), 2); // 綠色輪廓for (int i = 0; i < 4; i++) {cv::line(sourceMat, vertices[i], vertices[(i + 1) % 4], cv::Scalar(0, 0, 255), 2); // 紅色矩形}// 將帶有繪制結果的圖像發送到UIQImage imageQ = matToQImage(sourceMat);m_imageProvider->updateImage(imageQ);emit imageReady("screw_processed");emit statusMessageChanged(resultMessage);
}
2. 運行結果
點擊“開始檢測”后,界面上將顯示原始的彩色螺絲圖片,但上面已經疊加了綠色的輪廓線和紅色的最小外接矩形。同時,狀態欄會顯示出計算出的像素尺寸。
關鍵代碼分析:
(1) cv::findContours(...)
: OpenCV中用于尋找輪廓的核心函數。
- binaryMat
: 輸入必須是二值圖像。
- contours
: 輸出參數,一個存儲向量的向量集(std::vector<std::vector<cv::Point>>
),用于存儲所有找到的輪廓。每個輪廓本身是一個由點(cv::Point
)組成的向量。
- cv::RETR_EXTERNAL
: 表示只檢測最外層的輪廓,忽略內部的孔洞,這對于我們的需求是最高效的。
- cv::CHAIN_APPROX_SIMPLE
: 一種輪廓點的壓縮算法,只保留輪廓的端點,可以節省大量內存。
(2) cv::contourArea(...)
: 計算一個輪廓所包圍的面積。我們通過遍歷所有輪廓并比較面積,來找到最大的那個,并假定它就是我們的目標螺絲。
(3) cv::minAreaRect(...)
: 計算并返回一個包圍輪廓點的、面積最小的旋轉矩形(cv::RotatedRect
)。這個矩形能夠緊密地貼合傾斜的目標。
(4) rotatedRect.size
: cv::RotatedRect
對象包含中心點、角度和尺寸(cv::Size2f
)信息。size
的width
和height
不保證哪個是長哪個是短,因此我們用std::min
和std::max
來獲取物理上的寬度和長度。
(5) cv::drawContours(...)
和 cv::line(...)
: 用于在圖像上進行繪制的函數,非常適合在調試和結果展示時,將算法的中間結果可視化。
四、總結與展望
在本篇文章中,我們成功地實現了第一個真正的機器視覺算法。通過圖像預處理(灰度、二值化)、核心算法(輪廓發現)和 幾何計算(最小外接矩形)這一經典流程,我們讓程序從一張普通的圖片中精確地提取出了螺絲的像素尺寸。
我們不僅學習了幾個關鍵的OpenCV函數,更重要的是,我們建立了一套解決此類問題的思維框架。然而,讀者可能已經發現,這種方法雖然能測量尺寸,但對于識別表面劃痕、銹斑等紋理類、無固定形狀的瑕疵卻無能為力。
這正是傳統視覺算法的局限性所在,也為我們引入更強大的AI技術埋下了伏筆。在下一篇文章【《使用Qt Quick從零構建AI螺絲瑕疵檢測系統》——7. AI賦能(上):訓練你自己的YOLOv8瑕疵檢測模型】中,我們將進入深度學習領域,親手訓練一個能夠“認識”多種瑕疵的AI模型。