?很早就想總結一下前段時間學習HALCON的心得，但由于其他的事情總是抽不出時間。去年有過一段時間的集中學習，做了許多的練習和實驗，并對基于HDevelop的形狀匹配算法的參數優化進行了研究，寫了一篇《基于HDevelop的形狀匹配算法參數的優化研究》文章，總結了在形狀匹配過程中哪些參數影響到模板的搜索和匹配，又如何來協調這些參數來加快匹配過程，提高匹配的精度，這篇paper放到了中國論文在線了，需要可以去下載。

德國MVTec公司開發的HALCON機器視覺開發軟件，提供了許多的功能，在這里我主要學習和研究了其中的形狀匹配的算法和流程。HDevelop開發環境中提供的匹配的方法主要有三種，即Component-Based、Gray-Value-Based、Shape-Based,分 別是基于組件（或成分、元素）的匹配，基于灰度值的匹配和基于形狀的匹配。這三種匹配的方法各具特點，分別適用于不同的圖像特征，但都有創建模板和尋找模 板的相同過程。這三種方法里面，我主要就第三種－基于形狀的匹配，做了許多的實驗，因此也做了基于形狀匹配的物體識別，基于形狀匹配的視頻對象分割和基于 形狀匹配的視頻對象跟蹤這些研究，從中取得較好的效果，簡化了用其他工具，比如VC++來開發的過程。在VC下往往針對不同的圖像格式，就會弄的很頭疼，更不用說編寫圖像特征提取、模板建立和搜尋模板的代碼呢，我想其中間過程會很復雜，效果也不一定會顯著。下面我就具體地談談基于HALCON的形狀匹配算法的研究和心得總結。

1.?????? Shape-Based matching的基本流程

HALCON提 供的基于形狀匹配的算法主要是針對感興趣的小區域來建立模板，對整個圖像建立模板也可以，但這樣除非是對象在整個圖像中所占比例很大，比如像視頻會議中人 體上半身這樣的圖像，我在后面的視頻對象跟蹤實驗中就是針對整個圖像的，這往往也是要犧牲匹配速度的，這個后面再講。基本流程是這樣的，如下所示：

⑴ 首先確定出ROI的矩形區域，這里只需要確定矩形的左上點和右下點的坐標即可，gen_rectangle1()這個函數就會幫助你生成一個矩形，利用area_center()找到這個矩形的中心；

⑵ 然后需要從圖像中獲取這個矩形區域的圖像，reduce_domain()會得到這個ROI；這之后就可以對這個矩形建立模板，而在建立模板之前，可以先對這個區域進行一些處理，方便以后的建模，比如閾值分割，數學形態學的一些處理等等；

⑶ 接下來就可以利用create_shape_model()來創建模板了，這個函數有許多參數，其中金字塔的級數由Numlevels指定，值越大則找到物體的時間越少，AngleStart和AngleExtent決定可能的旋轉范圍，AngleStep指定角度范圍搜索的步長；這里需要提醒的是，在任何情況下，模板應適合主內存，搜索時間會縮短。對特別大的模板，用Optimization來減少模板點的數量是很有用的；MinConstrast將模板從圖像的噪聲中分離出來，如果灰度值的波動范圍是10，則MinConstrast應當設為10；Metric參數決定模板識別的條件，如果設為’use_polarity’，則圖像中的物體和模板必須有相同的對比度；創建好模板后，這時還需要監視模板，用inspect_shape_model()來完成，它檢查參數的適用性，還能幫助找到合適的參數；另外，還需要獲得這個模板的輪廓，用于后面的匹配，get_shape_model_contours()則會很容易的幫我們找到模板的輪廓；

⑷ 創建好模板后，就可以打開另一幅圖像，來進行模板匹配了。這個過程也就是在新圖像中尋找與模板匹配的圖像部分，這部分的工作就由函數find_shape_model()來承擔了，它也擁有許多的參數，這些參數都影響著尋找模板的速度和精度。這個的功能就是在一幅圖中找出最佳匹配的模板，返回一個模板實例的長、寬和旋轉角度。其中參數SubPixel決定是否精確到亞像素級，設為’interpolation’，則會精確到，這個模式不會占用太多時間，若需要更精確，則可設為’least_square’,’lease_square_high’，但這樣會增加額外的時間，因此，這需要在時間和精度上作個折中，需要和實際聯系起來。比較重要的兩個參數是MinSocre和Greediness，前一個用來分析模板的旋轉對稱和它們之間的相似度，值越大，則越相似，后一個是搜索貪婪度，這個值在很大程度上影響著搜索速度，若為0，則為啟發式搜索，很耗時，若為1，則為不安全搜索，但最快。在大多數情況下，在能夠匹配的情況下，盡可能的增大其值。

⑸ 找到之后，還需要對其進行轉化，使之能夠顯示，這兩個函數vector_angle_to_rigid()和affine_trans_contour_xld()在這里就起這個作用。前一個是從一個點和角度計算一個剛體仿射變換，這個函數從匹配函數的結果中對構造一個剛體仿射變換很有用，把參考圖像變為當前圖像。
其詳細的流程圖和中間參數，如下圖所示：（無法上傳）

2.?????? 基于形狀匹配的參數關系與優化

???? 在HALCON的說明資料里講到了這些參數的作用以及關系，在上面提到的文章中也作了介紹，這里主要是重復說明一下這些參數的作用，再強調一下它們影響匹配速度的程度；

在為了提高速度而設置參數之前，有必要找出那些在所有測試圖像中匹配成功的設置，這時需考慮以下情況：

①???? 必須保證物體在圖像邊緣處截斷，也就是保證輪廓的清晰，這些可以通過形態學的一些方法來處理；

②???? 如果Greediness值設的太高，就找不到其中一些可見物體，這時最后將其設為0來執行完全搜索；

③???? 物體是否有封閉區域，如果要求物體在任何狀態下都能被識別，則應減小MinScore值；

④???? 判斷在金字塔最高級上的匹配是否失敗，可以通過find_shape_model（）減小NumLevels值來測試；

⑤???? 物體是否具有較低的對比度，如果要求物體在任何狀態下都能被識別，則應減小MinContrast值；

⑥???? 判斷是否全局地或者局部地轉化對比度極性，如果需要在任何狀態下都能被識別，則應給參數Metric設置一個合適的值；

⑦???? 物體是否與物體的其他實例重疊，如果需要在任何狀態下都能識別物體，則應增加MaxOverlap值；

⑧???? 判斷是否在相同物體上找到多個匹配值，如果物體幾乎是對稱的，則需要控制旋轉范圍；

如何加快搜索匹配，需要在這些參數中進行合理的搭配，有以下方法可以參考：

①?????? 只要匹配成功，則盡可能增加參數MinScore的值；

②?????? 增加Greediness值直到匹配失敗，同時在需要時減小MinScore值；

③?????? 如果有可能，在創建模板時使用一個大的NumLevels，即將圖像多分幾個金字塔級；

④?????? 限定允許的旋轉范圍和大小范圍，在調用find_shape_model（）時調整相應的參數；

⑤?????? 盡量限定搜索ROI的區域；

除上面介紹的以外，在保證能夠匹配的情況下，盡可能的增大Greediness的值，因為在后面的實驗中，用模板匹配進行視頻對象跟蹤的過程中，這個值在很大程度上影響到匹配的速度。

當然這些方法都需要跟實際聯系起來，不同圖像在匹配過程中也會有不同的匹配效果，在具體到某些應用，不同的硬件設施也會對這個匹配算法提出新的要求，所以需要不斷地去嘗試。在接下來我會結合自己做的具體的實驗來如何利用HALCON來進行實驗，主要是在視頻對象分割和視頻對象的跟蹤方面。