多目標追蹤性能評價
基礎:
GT:Ground Truth,是指真實的標簽或者真實的對象;
TP:True Positive,被正確預測檢測到的樣本;
TN:True Negative,被預測為負的負樣本;
FP:False Positive,被預測為正的負樣本,也就是誤檢;
FN:False Negative,被預測為負的正樣本,也就是漏檢;
Classical metrics
- MT:Mostly Tracked trajectories,成功跟蹤的幀數占總幀數的80%以上的GT軌跡數量
- Fragments:碎片數,成功跟蹤的幀數占總幀數的80%以下的預測軌跡數量
- ML:Mostly Lost trajectories,成功跟蹤的幀數占總幀數的20%以下的GT軌跡數量
- False trajectories:預測出來的軌跡匹配不上GT軌跡,相當于跟蹤了個寂寞
- ID switches:因為跟蹤的每個對象都是有ID的,一個對象在整個跟蹤過程中ID應該不變,但是由于跟蹤算法不強大,總會出現一個對象的ID發生切換,這個指標就說明了ID切換的次數,指前一幀和后一幀中對于相同GT軌跡的預測軌跡ID發生切換,跟丟的情況不計算在ID切換中。
CLEAR MOT metrics
- FP:總的誤報數量,即整個視頻中的FP數量,即對每幀的FP數量求和
- FN:總的漏報數量,即整個視頻中的FN數量,即對每幀的FN數量求和
- Fragm(FM):總的fragmentation數量,every time a ground truth object tracking is interrupted and later resumed is counted as a fragmentation,注意這個指標和Classical metrics中的Fragments有點不一樣
- IDSW:總的ID Switch數量,即整個視頻中的ID Switch數量,即對每幀發生的ID Switch數量求和,這個和Classical metrics中的ID switches基本一致
- MOTA:注意MOTA最大為1,由于IDSW的存在,MOTA最小可以為負無窮。
- MOTP:衡量跟蹤的位置誤差,其中t表示第t幀,?表示第t幀中預測軌跡和GT軌跡成功匹配上的數目,?表示t幀中第i個匹配對的距離。這個距離可以用IOU或歐式距離來度量,IOU大于某閾值或歐氏距離小于某閾值視為匹配上了。可以看出來MOTP這個指標相比于評估跟蹤效果,更注重檢測質量。
ID scores
- IDP:Identification precision
- IDR:Identification recall
- IDF1:Identification F1,是IDP和IDR的調和均值
計算過程:
1. 將真實ID與計算ID一一對應;
2. 在ID對應的情況下計算所需要的指標。