目標檢測指標
指標 | 內容 |
---|---|
mAP(mean Average Precision) | bev下2d中心點的距離來評價,而不是像2d檢測里用iou來評價 |
mATE(Average Translation Error) | 中心點的2D歐式距離 |
mASE(Average Scale Error) | 中心點和朝向對齊后的尺度誤差 |
mAOE(Average Orientation Error) | 朝向誤差 |
mAVE(Average Velocity Error) | 速度誤差 |
mAAE(Average Attribute Error) | 屬性誤差 |
NDS(nuScenes detection score) | 對上述所有進行加權平均 |
1. 目標檢測
(1)平均精度(Average Precision, AP)
這是目標檢測任務中最常用的評價指標之一。它衡量的是檢測器在不同置信度閾值下的精度(Precision)- 召回率(Recall)曲線下的面積。nuScenes數據集基于不同類別目標,例如行人、車輛等,計算每個類別的AP。
(2)平均最佳重疊(Average Best Overlap, ABE)
ABE是nuScenes用來評估檢測性能的一個更嚴格的指標,它要求檢測結果與真實情況相比不僅要有高的IoU(交并比),而且還應該盡可能地精確預測目標的方向和速度。
2. 目標跟蹤
(1)多目標跟蹤精度(Multiple Object Tracking Precision, MOTP)
MOTP衡量的是被正確關聯的檢測與真實目標之間的平均重疊度。
(2)多目標跟蹤召回率(Multiple Object Tracking Recall, MOTR)
MOTR計算的是數據集中所有真實目標被正確跟蹤的比例。
(3)識別分數(Identity Score, IDF1)
DF1是一種衡量跟蹤準確性與一致性(即正確識別同一目標的連續性)的指標。它考慮了預測軌跡與真實軌跡之間的匹配情況,從而評價跟蹤算法在長時間內跟蹤目標的能力。
3. NDS(nuScenes Detection Score)
NDS是一個綜合指標,它將上述各種單一指標結合在一起,通過加權平均的方式給出一個總分,以便更全面地評估自動駕駛系統在目標檢測、跟蹤等多任務上的表現。NDS考慮的因素包括不同尺度目標的檢測、跟蹤的精確度和流暢度等。