目標檢測相關
(b)是語義分割,(c)是實例分割
-
目標檢測?=?每個目標一個框+標簽
-
實例分割?=?語義分割?+?識別每一個目標個體
目標檢測基礎上進一步提升模型能力有兩個方向:實例分割、旋轉目標檢測。
實例分割
(1)定義
目標檢測的進一步擴展,不僅定位物體的位置,而且給出物體的精確輪廓。它通常需要通過?mask?來標注每個物體的像素級區域。
(2)實現方式
一般是在目標檢測的基礎上,增加一個分割分支(輸出掩膜?mask),典型代表是:
-
Mask?R-CNN:Faster?R-CNN?加上分割頭
-
YOLACT?/?SOLO?/?Mask2Former:更快更靈活的分割方式
-
一些最新的?segment?anything?模型也屬于這個方向
旋轉目標檢測
(1)定義
目標檢測不僅檢測物體的位置,還要精確預測物體的角度,通過旋轉的矩形框來標注物體,而不是簡單的水平矩形框。
例如,在遙感衛星圖像里檢測船只,如果不用旋轉框,可能一個框套住了兩艘船。而旋轉框可以斜著框住每一艘船,更準確。
(2)實現方式
在原有框架上,模型輸出的框格式從?[x,?y,?w,?h]
?變為?[x,?y,?w,?h,?θ]
,多了一個角度θ。
典型代表模型有:
-
RTMDet
-
R3Det(Refined?Rotated?RetinaNet)
-
Rotated?Faster?R-CNN
-
Oriented?R-CNN
-
基于?YOLO?的旋轉目標檢測(比如?YOLOv5-OBB)
語義分割和實例分割對比
項目 | 語義分割 | 實例分割 |
---|---|---|
像素級別分類 | ? | ? |
區分個體 | ??不行(只知道種類) | ??可以(知道是哪一個物體) |
應用 | 場景理解、自動駕駛道路分割等 | 高級視覺識別(如COCO、人臉遮擋處理) |
難度 | 相對較低 | 更高(要結合檢測) |
目標檢測、實例分割和旋轉目標檢測的關系
-
目標檢測和實例分割常常是順序執行的,先做目標檢測,后做實例分割。
-
旋轉目標檢測通常是獨立的任務,也可以與目標檢測或實例分割并行進行,專注于處理旋轉物體的定位和角度預測。