目標檢測和實例分割是計算機視覺的基本任務。目標檢測的傳統方法中通常利用邊界框技術進行對象定位，然后利用逐像素分類為這些本地化實例分配類。但是當處理同一類的重疊對象時，或者在每個圖像的對象數量不同的情況下，這些方法通常會出現問題。
Faster R-CNN、Mask R-CNN等經典方法雖然有效，但由于其固定大小的輸出空間，它們通常預測每個圖像的邊界框和類的固定數量，這可能與圖像中實例的實際數量不匹配，特別是當不同圖像的實例數量不同時。并且它們可能無法充分處理相同類的對象重疊的情況，從而導致分類不一致。
目錄
逐像素分類
掩碼分類
二者區別
逐像素分類
Pixel-wise Classification逐像素分類是一種計算機視覺任務，旨在對圖像中的每個像素進行分類。該任務要求將圖像劃分為不同的類別，并為每個像素分配一個標簽，以便對圖像進行語義分割、實例分割或對象檢測等。
- 數據準備：準備一個帶有像素級標簽的訓練數據集。
- 模型選擇：選擇適合逐像素分類的深度學習模型。
- 模型訓練：使用訓練數據集對選定的模型進行訓練。通常使用交叉熵損失函數。
- 模型推理：在訓練完成后，使用訓練好的模型對新的圖像進行推理和分類。
- 后處理：優化結果，例如像素連接、條件隨機場等平滑邊界，提高分割準確性和連續性。
掩碼分類
Mask Classification掩碼分類是一種計算機視覺任務，結合目標檢測和逐像素分類的概念。旨在對圖像中的每個目標實例進行分類，生成與實例對應的二進制掩碼Mask，標識目標的精確位置。
- 數據準備：準備一個帶有目標實例的訓練數據集。
- 目標檢測和分類：使用目標檢測算法（如YOLO）檢測目標實例并獲取邊界框坐標。
- 掩碼生成網絡：在每個目標實例的邊界框上，使用全卷積網絡或類似的架構，將邊界框內的圖像區域作為輸入，生成與目標實例精確匹配的像素級掩碼。
- 掩碼分類訓練：將生成的像素級掩碼與目標標簽一起作為訓練樣本，使用交叉熵損失函數來訓練掩碼分類器，用于將像素級掩碼與對應的目標類別進行分類。
- 掩碼分類推理：對于新的圖像，使用目標檢測算法檢測目標實例，并使用訓練好的掩碼分類器對每個目標實例的邊界框區域生成像素級掩碼，獲得每個目標實例的分類標簽和精確掩碼。
二者區別
Pixel-wise Classification逐像素分類和Mask Classification掩碼分類的區別主要體現在：
- 目的
- 逐像素分類的目的是對每個像素進行分類，將每個像素分配到不同的類別。
- 掩碼分類的目的是對每個目標實例生成像素級的二進制掩碼，標識目標的精確位置。
- 結構：
- 逐像素分類通常使用FCN全卷積網絡或類似的架構，以保留輸入圖像的空間分辨率。
- 掩碼分類通常使用目標檢測算法檢測目標實例，后使用FCN或類似的架構生成掩碼。
- 輸出
- 逐像素分類輸出一個與輸入圖像大小相同的像素級分類標簽圖。
- 掩碼分類輸出與目標實例形狀匹配的二進制掩碼，目標區域被標記為前景。
- 應用
- 逐像素分類通常用于語義分割任務。
- 掩碼分類常用于實例分割任務。
