一、例程簡介
該例程比較有代表性,屬于Halcon里的分類方法之一,直接調用Halcon封裝好的GMM分類器(高斯混合模型)對橘子和檸檬進行分類。GMM屬于概率分類方法,屬于P(Y|X),通過對樣本的概率密度分布進行估計,然后對模型進行加權求和,并通過投影,最后選取概率最大的類所為判決結果,這種分類方法只在不同檢測類之間有明顯的區別(在兩類物體圓度和面積有較大區別)的情況下適用。
具體原理可以詳見有位大佬的解釋說明,鏈接如下:
[原理]https://blog.csdn.net/weixin_42555080
后面我也會針對機器學習的相關方法進行分享,求點贊評論哦。
二、代碼詳解(對每一步進行注釋)
第一篇注釋下,后面再寫就只注釋關鍵部分了。
*讀取圖片
read_image (Image, 'color/citrus_fruits_01')
*返回輸入圖像對象Image的第一個通道的Pointer(指示器)。另外,這個算子也返回圖像類型和圖像的大小(width和height)。
get_image_pointer1 (Image, Pointer, Type, Width, Height)
dev_close_window ()
dev_open_window (0, 0, Width, Height, 'white', WindowHandle)
*用來設置當前窗口的字體屬性,參數意思為字體大小為12,字體類型為“Courier New字體”,粗體,不傾斜。
set_display_font (WindowHandle, 12, 'mono', 'true', 'false')
* 定義region的填充模式, 如果參數DrawMode設置為'fill',region顯示為填充,如果設置為'margin',則只顯示輪廓。
dev_set_draw ('margin')
*設置線寬
dev_set_line_width (2)
*顯示圖片
dev_display (Image)
*其實以下幾句可以寫為一句dev_update_off ()
dev_update_window ('off')
dev_update_pc ('off')
dev_update_var ('off')
* 為特征量(區域的面積,圓度,和分類名)賦值
FeaturesArea := []
FeaturesCircularity := []
ClassName := ['orange','lemon']* 創建GMM分類器(特征數量,樣本分類個數,類中心的個數,協方差矩陣的形式,預處理的形式,轉換特征數,隨機種子初始化GMM,GMM句柄)
create_class_gmm (2, 2, 1, 'spherical', 'normalization', 10, 42, GMMHandle)
*
* 添加訓練樣本
for I := 1 to 4 by 1read_image (Image, 'color/citrus_fruits_' + I$'.2d')dev_display (Image)* 自定義函數,將圖片進行預處理,得到區域特征。get_regions (Image, SelectedRegions)*將彩色圖片分離為三個單通道圖片(decompose3 (Image, ImageRed, ImageGreen, ImageBlue)*用于區域對象的顏色設為白dev_set_color ('white')*對單通道圖片進行閾值處理,得到灰度值在50-255區間的圖片threshold (ImageRed, Region, 50, 255)*將區域進行填充fill_up (Region, RegionFillUp)*用來計算輸入區域中的所有連通域connection (RegionFillUp, ConnectedRegions)*根據形狀特征(這里是面積)對區域進行篩選,對于大于50小于999999的形狀保留。select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 50, 999999)return ())dev_display (SelectedRegions)*計算區域數量count_obj (SelectedRegions, NumberObjects)*對三個目標進行遍歷,獲取特征for J := 1 to NumberObjects by 1*從一個對象元組中選擇一個區域,區域的排序索引應該是根據上面計算連通域的時候完成的。select_obj (SelectedRegions, ObjectSelected, J)*自定義函數,分別對圓度和面積進行計算,并返回區域中心點的坐標值。get_features (ObjectSelected, WindowHandle, Circularity, Area, RowRegionCenter, ColumnRegionCenter)(circularity (ObjectSelected, Circularity)area_center (ObjectSelected, Area, Row, Column)dev_set_color ('white')return ())* 對變量賦值FeaturesArea := [FeaturesArea,Area]FeaturesCircularity := [FeaturesCircularity,Circularity]*將元組的數值轉換為浮點型FeatureVector := real([Circularity,Area])*該方法已提前將樣本分為兩類,每類數量已提前設定好,橘子和檸檬各兩張圖片if (I <= 2)*將訓練樣本添加到訓練數據中(GMM句柄,特征向量,類別ID為0,不添加高斯噪聲)add_sample_class_gmm (GMMHandle, FeatureVector, 0, 0)*此過程在圖形窗口“窗口句柄”中的位置(Row,Column)顯示文本。(文本顯示Add to Class加類名,行坐標,列坐標,黑色,box參數為ture,表示文本顯示在橙色框中)disp_message (WindowHandle, 'Add to Class:' + ClassName[0], 'window', RowRegionCenter, ColumnRegionCenter - 100, 'black', 'true')else*ID為1add_sample_class_gmm (GMMHandle, FeatureVector, 1, 0)disp_message (WindowHandle, 'Add to Class:' + ClassName[1], 'window', RowRegionCenter, ColumnRegionCenter - 100, 'black', 'true')endifendfor*顯示 'Press Run (F5) to continue' 在屏幕的右下角disp_continue_message (WindowHandle, 'black', 'true')stop ()
endfor
dev_clear_window ()
*
* 自定義函數,構建可視化空間,可以顯示圓度和面積的二維坐標系,里面內容有點復雜,包括畫坐標系,顯示特征值兩部分,有興趣的同學可以仔細看看里面的代碼來復現一遍,這里就不細述。兩個特征變量里面分別有12個值,對應每個對象的特征值,將其放到坐標系中,橘子為深灰,檸檬為淺灰色。
visualize_2D_feature_space (Cross, Height, Width, WindowHandle, FeaturesArea[0:5], FeaturesCircularity[0:5], 'dim gray', 18)
* 'oranges', 40, 440
visualize_2D_feature_space (Cross, Height, Width, WindowHandle, FeaturesArea[6:11], FeaturesCircularity[6:11], 'light gray', 18)
* 'lemons', 70, 440
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
*
* 訓練分類器(句柄,最大迭代次數,閾值,計算方法,防止協方差矩陣異常的正則化值,類中心數量,每個類的迭代次數)這里就是halcon的便利之處,直接將大量的代碼封裝,我們只需要更改幾個關鍵參數即可,但也要對GMM訓練算法有所了解,后面會專門寫一篇GMM算法的文章。
train_class_gmm (GMMHandle, 100, 0.001, 'training', 0.0001, Centers, Iter)
*
* 分類,下面的基本就是上面提取特征值的過程,沒啥特殊的,就不每行注釋了。
for I := 1 to 15 by 1read_image (Image, 'color/citrus_fruits_' + I$'.2d')dev_display (Image)* 'Classify Image', 10, 10get_regions (Image, SelectedRegions)dev_display (SelectedRegions)count_obj (SelectedRegions, NumberObjects)for J := 1 to NumberObjects by 1select_obj (SelectedRegions, ObjectSelected, J)get_features (ObjectSelected, WindowHandle, Circularity, Area, RowRegionCenter, ColumnRegionCenter)FeaturesArea := [FeaturesArea,Area]FeaturesCircularity := [FeaturesCircularity,Circularity]FeatureVector := real([Circularity,Area])*應用上面訓練的模型對測試數據的特征進行分類(句柄,特征向量,最佳類數(我的理解是指返回一種結果),分類結果(橘子是0,檸檬是1),后驗概率,概率密度,歸一化概率(通過這個概率進行判斷))classify_class_gmm (GMMHandle, FeatureVector, 1, ClassID, ClassProb, Density, KSigmaProb)*顯示信息disp_message (WindowHandle, 'Class: ' + ClassName[ClassID], 'window', RowRegionCenter, ColumnRegionCenter - 100, 'black', 'true')disp_message (WindowHandle, 'KSigmaProb: ' + KSigmaProb, 'window', RowRegionCenter + 30, ColumnRegionCenter - 100, 'black', 'true')endfor*如果測試圖片數量不等于15,顯示暫停。if (I != 15)disp_continue_message (WindowHandle, 'black', 'true')endifstop ()
endfor
* 清除分類器內存
clear_class_gmm (GMMHandle)
三、總結
Halcon進行GMM分類的全過程包括以下幾部分:
- 預處理,包括閾值處理,二值化,提取區域或者輪廓特征等;
- 提取樣本特征;可以是圓度,面積,也可以是顏色,輪廓,主要看那種特征適合分類。
- 用add_sample_class_gmm將樣本特征添加到分類器,對特征進行訓練,得到最終GMM模型。
- 提取測試樣本的特征。
- 應用分類器對測試數據進行分類,這里Halcon把代碼封裝了,大家可以去看看C++或python版本的分類代碼,會對這個分類方法有更深的了解,至于先驗后驗概率密度之類的東西,大家自己查下吧,哈哈,要慢慢理解。
第一次寫博客,希望將自己的學習過程記錄下來,也分享給大家,希望共同進步。必須強調一點,一🗡三連。