試題分析:
在連續的視頻中對火焰及水柱的軌跡檢測,效果如圖。
**
提示:
1、火焰可利用亮度和顏色
2、水柱的軌跡需要先用背景差分獲得水柱的連通域,然后利用連通域上的像素點進行曲線的擬合,水槍的位置視為已知,即可以手動活動坐標。**
1、火焰檢測
我們先截一張圖,觀察HSV三個通道圖長什么樣子:
![]() | ![]() | ![]() |
觀察之后決定從S通道著手,首先確定火焰的位置是固定不變的(總是在右下角)
對S通道的圖片進行二值化獲得二值圖,再通過限制像素位置,排除干擾:
對灰度圖進行二值化,發現限制200時,字的影響消失
//識別并標出火焰
//輸入 原圖像 輸出:原圖像上框出框框(火)
void find_fire(Mat& srcMat, Mat& outputMat)
{Mat gray_srcMat;Mat dstMat, binMat;cvtColor(srcMat, gray_srcMat, COLOR_BGR2GRAY);Mat fire_Mat = Mat::zeros(gray_srcMat.size(), gray_srcMat.type());cvtColor(srcMat, dstMat, COLOR_BGR2HSV);vector<Mat> channels;split(dstMat, channels);//將S通道的圖像復制,然后處理Mat S_Mat;channels.at(1).copyTo(S_Mat);int row_num = srcMat.rows; //行數int col_num = srcMat.cols; //列數//雙重循環,遍歷右下角像素值for (int i = row_num * 0.75;i < row_num;i++) //行循環{for (int j = col_num * 0.75;j < col_num;j++) //列循環{//-------【開始處理每個像素】---------------if ((gray_srcMat.at<uchar>(i, j) >= 150 && S_Mat.at<uchar>(i, j) >= 120)){fire_Mat.at<uchar>(i, j) = 255;}//-------【處理結束】---------------}}//膨脹Mat element = getStructuringElement(MORPH_RECT, Size(15, 15)); //返回的是內核矩陣Mat firedstImage;dilate(fire_Mat, fire_Mat, element);//通過findContours函數尋找連通域vector<vector<Point>> contours;vector<Vec4i> hierarchy;findContours(fire_Mat, contours, RETR_LIST, CHAIN_APPROX_NONE);//繪制輪廓for (int i = 0; i < contours.size(); i++) {RotatedRect rbox = minAreaRect(contours[i]);drawContours(srcMat, contours, i, Scalar(0, 255, 255), 1, 8);Point2f vtx[4];rbox.points(vtx);for (int j = 0; j < 4; ++j) {cv::line(outputMat, vtx[j], vtx[j < 3 ? j + 1 : 0], Scalar(255, 255, 255), 2, LINE_AA);}}
}
2、水柱檢測
利用最簡單的背景差分(幀差法),獲得圖像:
框出來的地方是誤差,我們對其進行排除
//輸入:圖片 輸出:去除干擾后的圖
void clear_other_disturb(Mat& srcMa)
{//通過觀察、發現0-180列為干擾,320-480列且0-90行為干擾for (int i = 0;i < 90;i++) //行循環{for (int j = 320;j < srcMa.cols;j++) //列循環{//-------【開始處理每個像素】---------------srcMa.at<uchar>(i, j) = 0;//-------【處理結束】---------------}}for (int i = 0;i < srcMa.rows;i++) //行循環{for (int j = 0;j < 180;j++) //列循環{//-------【開始處理每個像素】---------------srcMa.at<uchar>(i, j) = 0;//-------【處理結束】---------------}}
}
二值化一下:
接下來選擇擬合的點:
連通域中的像素坐標:
//輸入:二值化圖片 輸出:點集 (每列最多只有一個點,符合函數一一映射的關系)
void find_point(Mat& binMat, std::vector<cv::Point>& key_point)
{//第一個點肯定是水槍位置//遍歷:170列到430列// 30行到230行//遍歷方式:遍歷每列,從上往下遍歷(小到大),找到的第一個為白的點記錄下來,如果遍歷完這一列并沒有發現白色點,則不作記錄//注意這里的循環方式與其他地方的相反for (int i = 170;i < 430;i++) //列循環{for (int j =30;j < 230;j++) //行循環{if (binMat.at<uchar>(j, i) == 255){//行列與坐標系對應關系//行rows: Y(height)//列cols : X(width)//注意!注意!注意!//在Mat類型變量訪問時下標是反著寫的key_point.push_back(cv::Point(i,j));break;}}}//打印出來讓我看看int N= key_point.size();for (int n = 0;n < N;n++){cout << "point"<< key_point[n].x<<" "<< key_point[n].y << endl;}//畫出來Mat image = cv::Mat::zeros(binMat.rows, binMat.cols, CV_8UC3);for (int i = 0; i < key_point.size(); i++){cv::circle(image, key_point[i], 5, cv::Scalar(0, 0, 255), 2, 8, 0);}imshow("tu", image);
}
將選出的點畫出來:
將像素點選取出來之后,接下來就是用最小二乘法擬合曲線,具體內容講解請看:
https://blog.csdn.net/guduruyu/article/details/72866144
//輸入:待擬合的點集,擬合出來的曲線的點
bool polynomial_curve_fit(std::vector<cv::Point>& key_point, int n, cv::Mat& A)
{//Number of key pointsint N = key_point.size();//構造矩陣Xcv::Mat X = cv::Mat::zeros(n + 1, n + 1, CV_64FC1);for (int i = 0; i < n + 1; i++){for (int j = 0; j < n + 1; j++){for (int k = 0; k < N; k++){X.at<double>(i, j) = X.at<double>(i, j) +std::pow(key_point[k].x, i + j);}}}//構造矩陣Ycv::Mat Y = cv::Mat::zeros(n + 1, 1, CV_64FC1);for (int i = 0; i < n + 1; i++){for (int k = 0; k < N; k++){Y.at<double>(i, 0) = Y.at<double>(i, 0) +std::pow(key_point[k].x, i) * key_point[k].y;}}A = cv::Mat::zeros(n + 1, 1, CV_64FC1);//求解矩陣Acv::solve(X, Y, A, cv::DECOMP_LU);return true;
}
最終代碼:
#include <opencv2/opencv.hpp>
#include "opencv2/features2d.hpp"
#include <iostream>
#include "windows.h"
#include <stdio.h>
#include <time.h>
#include <math.h>
#include<opencv2/imgproc/types_c.h>
//#include "My_ImageProssing_base.h"
#define WINDOW_NAME1 "【程序窗口1】"
#define WINDOW_NAME2 "【程序窗口2】"
using namespace cv;
using namespace std;
RNG g_rng(12345);//識別并標出火焰
//輸入 原圖像 輸出:原圖像上框出框框(火)
void find_fire(Mat& srcMat, Mat& outputMat)
{Mat gray_srcMat;Mat dstMat, binMat;cvtColor(srcMat, gray_srcMat, COLOR_BGR2GRAY);Mat fire_Mat = Mat::zeros(gray_srcMat.size(), gray_srcMat.type());cvtColor(srcMat, dstMat, COLOR_BGR2HSV);vector<Mat> channels;split(dstMat, channels);//將S通道的圖像復制,然后處理Mat S_Mat;channels.at(1).copyTo(S_Mat);int row_num = srcMat.rows; //行數int col_num = srcMat.cols; //列數//雙重循環,遍歷右下角像素值for (int i = row_num * 0.75;i < row_num;i++) //行循環{for (int j = col_num * 0.75;j < col_num;j++) //列循環{//-------【開始處理每個像素】---------------if ((gray_srcMat.at<uchar>(i, j) >= 150 && S_Mat.at<uchar>(i, j) >= 120)){fire_Mat.at<uchar>(i, j) = 255;}//-------【處理結束】---------------}}//膨脹Mat element = getStructuringElement(MORPH_RECT, Size(15, 15)); //返回的是內核矩陣Mat firedstImage;dilate(fire_Mat, fire_Mat, element);//通過findContours函數尋找連通域vector<vector<Point>> contours;vector<Vec4i> hierarchy;findContours(fire_Mat, contours, RETR_LIST, CHAIN_APPROX_NONE);//繪制輪廓for (int i = 0; i < contours.size(); i++) {RotatedRect rbox = minAreaRect(contours[i]);drawContours(srcMat, contours, i, Scalar(0, 255, 255), 1, 8);Point2f vtx[4];rbox.points(vtx);for (int j = 0; j < 4; ++j) {cv::line(outputMat, vtx[j], vtx[j < 3 ? j + 1 : 0], Scalar(255, 255, 255), 2, LINE_AA);}}
}
//--------------------------------------------工程大作業---------------------------------------------------//輸入:二值化圖片 輸出:點集 (每列最多只有一個點,符合函數一一映射的關系)
void find_point(Mat& binMat, std::vector<cv::Point>& key_point)
{//第一個點肯定是水槍位置//遍歷:170列到430列// 30行到230行//遍歷方式:遍歷每列,從上往下遍歷(小到大),找到的第一個為白的點記錄下來,如果遍歷完這一列并沒有發現白色點,則不作記錄//注意這里的循環方式與其他地方的相反for (int i = 170;i < 430;i++) //列循環{for (int j =30;j < 230;j++) //行循環{if (binMat.at<uchar>(j, i) == 255){//行列與坐標系對應關系//行rows: Y(height)//列cols : X(width)//注意!注意!注意!//在Mat類型變量訪問時下標是反著寫的key_point.push_back(cv::Point(i,j));break;}}}//打印出來讓我看看int N= key_point.size();for (int n = 0;n < N;n++){cout << "point"<< key_point[n].x<<" "<< key_point[n].y << endl;}//畫出來Mat image = cv::Mat::zeros(binMat.rows, binMat.cols, CV_8UC3);for (int i = 0; i < key_point.size(); i++){cv::circle(image, key_point[i], 5, cv::Scalar(0, 0, 255), 2, 8, 0);}//imshow("tu", image);
}//輸入:待擬合的點集,擬合出來的曲線的點
bool polynomial_curve_fit(std::vector<cv::Point>& key_point, int n, cv::Mat& A)
{//Number of key pointsint N = key_point.size();//構造矩陣Xcv::Mat X = cv::Mat::zeros(n + 1, n + 1, CV_64FC1);for (int i = 0; i < n + 1; i++){for (int j = 0; j < n + 1; j++){for (int k = 0; k < N; k++){X.at<double>(i, j) = X.at<double>(i, j) +std::pow(key_point[k].x, i + j);}}}//構造矩陣Ycv::Mat Y = cv::Mat::zeros(n + 1, 1, CV_64FC1);for (int i = 0; i < n + 1; i++){for (int k = 0; k < N; k++){Y.at<double>(i, 0) = Y.at<double>(i, 0) +std::pow(key_point[k].x, i) * key_point[k].y;}}A = cv::Mat::zeros(n + 1, 1, CV_64FC1);//求解矩陣Acv::solve(X, Y, A, cv::DECOMP_LU);return true;
}//輸入:圖片 輸出:去除干擾后的圖
void clear_other_disturb(Mat& srcMa)
{//通過觀察、發現0-180列為干擾,320-480列且0-90行為干擾for (int i = 0;i < 90;i++) //行循環{for (int j = 320;j < srcMa.cols;j++) //列循環{//-------【開始處理每個像素】---------------srcMa.at<uchar>(i, j) = 0;//-------【處理結束】---------------}}for (int i = 0;i < srcMa.rows;i++) //行循環{for (int j = 0;j < 180;j++) //列循環{//-------【開始處理每個像素】---------------srcMa.at<uchar>(i, j) = 0;//-------【處理結束】---------------}}
}
int main()
{//實例化的同時初始化VideoCapture capture("D:\\opencv_picture_test\\videos\\大作業.avi"); //類似于 int a=1;//如果視頻打開失敗//計數器int cnt = 0;Mat frame;Mat rgb_mat; Mat rgb_mat1;Mat bgMat1; //第0幀圖像Mat bgMat2; //之后每幀圖像while (1){capture >> frame;//圖像保護if (!frame.data){cout << "src image load failed!" << endl;break;}//將彩色圖保存下來,用于最后畫圖的底布rgb_mat = frame.clone();rgb_mat1= frame.clone();//轉灰度圖,用于之后的找水柱cvtColor(frame, frame, COLOR_BGR2GRAY);if (cnt == 0){//第一幀,獲得背景圖像frame.copyTo(bgMat1);//找火find_fire(rgb_mat, rgb_mat);imshow("output", rgb_mat);waitKey(20);}else if (cnt<=100) //水柱還沒有出現,我們不找水柱,防止誤判(其實是有誤判的),此時我們只繪制火焰{//找火find_fire(rgb_mat, rgb_mat);imshow("output", rgb_mat);waitKey(20);}else{//獲取本次場景的圖像frame.copyTo(bgMat2);//====================================進行處理================================================Mat result = bgMat1.clone();//【1】背景圖像和當前圖像相減absdiff(bgMat1, bgMat2, result);//【2】接下來是去除干擾clear_other_disturb(result);//【3】二值化一下threshold(result, result, 100, 255, THRESH_BINARY);//imshow("result", result);//【4】找點std::vector<cv::Point> points;find_point(result, points);//【5】找到點之后就是擬合曲線,這里采用【https://blog.csdn.net/guduruyu/article/details/72866144】的思路cv::Mat A;//這里使用3次函數,效果很好polynomial_curve_fit(points, 3, A);std::cout << "A = " << A << std::endl;std::vector<cv::Point> points_fitted;for (int x = 170; x < 430; x++){double y = A.at<double>(0, 0) + A.at<double>(1, 0) * x +A.at<double>(2, 0) * std::pow(x, 2) + A.at<double>(3, 0) * std::pow(x, 3);points_fitted.push_back(cv::Point(x, y));}//【6】在彩色圖上繪制水柱cv::polylines(rgb_mat, points_fitted, false, cv::Scalar(0, 255, 255), 1, 8, 0);find_fire(rgb_mat1, rgb_mat);imshow("output", rgb_mat);//====================================處理結束================================================waitKey(20);}cnt++;}waitKey(0);return 0;
}
本文章代碼可以隨意使用!