SFTrack：面向警務無人機的自適應多目標跟蹤算法——突破小尺度高速運動目標的追蹤瓶頸

【導讀】

本文針對無人機（UAV）視頻中目標尺寸小、運動快導致的多目標跟蹤難題，提出一種更簡單高效的方法。核心創新在于從低置信度檢測啟動跟蹤（貼合無人機場景特性），并改進傳統外觀匹配算法以關聯此類檢測。在VisDrone2019、UAVDT和MOT17數據集上，性能超越當前最優方法，展現卓越魯棒性與適應性。>>更多資訊可加入CV技術群獲取了解哦~

一、引言

二、相關工作

多目標跟蹤（MOT）中的目標檢測

多目標跟蹤中的數據關聯

無人機上的多目標跟蹤

千款模型+海量數據，開箱即用！

三、方法

無人機運動補償

低置信度檢測匹配

基于低置信度檢測的軌跡初始化

四、數據集與評估指標

數據集

UAVDT數據修正

實現細節

無需代碼，訓練結果即時可見！

從實驗到落地，全程高速零代碼！

五、實驗與結果

與先進方法的對比

無人機數據集

無人機挑戰性子集評估

MOT17數據集

消融實驗

六、結論

近年來，隨著無人機技術的快速發展，警務系統正逐步實現從"平面防控"向"立體巡防"的轉型升級。無人機憑借其高空視野廣、機動性強等特點，在嫌疑人追蹤、交通監控、應急處突等警務實戰中發揮著不可替代的作用。然而，無人機高速運動導致的圖像模糊、高空拍攝帶來的目標尺度微小等問題，嚴重制約著多目標跟蹤（MOT）系統的實戰效能。

圖片1.png

論文標題：

SFTrack: A Robust Scale and Motion Adaptive Algorithm for Tracking Small and Fast Moving Objects

論文鏈接：

https://arxiv.org/pdf/2410.20079

一、引言

多目標跟蹤（MOT）在多種無人機應用中發揮著關鍵作用，涵蓋從警方進行的實時嫌疑人跟蹤到人類與無人機之間的交互。此類應用中MOT的主要目標是準確估計并追蹤無人機搭載攝像頭捕獲的實時視頻流中多個目標的軌跡。然而，UAV應用中的MOT面臨獨特挑戰，包括無人機高速運動以及高空廣角視角導致的目標物體尺寸過小。這些固有挑戰可能顯著影響目標跟蹤性能的整體準確性。

為解決這些挑戰，大多數當代MOT方法采用運動特征與基于深度學習的外觀相似性特征的融合。然而，無人機動態且無約束的移動特性為傳統運動特征處理技術（如卡爾曼濾波器）帶來了顯著障礙。此外，視角的快速變化和物體的小尺寸會給依賴外觀相似性的方法帶來困難，包括基于深度學習的重新識別匹配方法的應用。這主要是因為小尺寸物體經常出現低置信度檢測，導致假陽性和假陰性率均較高。此外，現代基于深度學習的重新識別模塊在涉及小尺度或部分遮擋物體的場景中，往往難以獲取高質量的視覺特征，這主要歸因于這些物體在圖像中的覆蓋范圍受限。因此，本文提出了兩個主要目標以應對這些挑戰：（1）開發一種更 robust 的技術以補償無人機的不規則運動。（2）有效管理無人機應用中低置信度檢測的頻繁發生，主要源于模糊圖像、物體尺寸過小及遮擋問題。

圖片2.png

本文做出以下貢獻：

? 提出了一種能夠有效處理無人機多目標跟蹤固有挑戰的方法，包括快速且不規則的無人機運動、小型目標以及遮擋問題。

? 引入了一種從低置信度檢測結果中啟動跟蹤的創新策略，尤其適用于無人機場景。為管理這些低置信度檢測結果，建議重新審視基于人工特征的傳統外觀匹配算法。

? 對方法在多個數據集上進行了全面評估，包括VisDrone2019、UAVDT和MOT17，證明了其有效性和優越性能。

? 識別并糾正了UAVDT數據集中缺失和錯誤的注釋，這有助于更準確的評估和進一步的研究。

二、相關工作

多目標跟蹤（MOT）中的目標檢測

近期基于視覺的多目標跟蹤系統主要采用基于檢測的跟蹤方法，該方法分為檢測和跟蹤兩個步驟。該方法首先在視頻幀中檢測目標，然后將這些檢測結果進行關聯以追蹤其運動軌跡。研究重點在于優化該方法的關聯階段，特別針對無人機視頻的獨特挑戰進行優化。

多目標跟蹤中的數據關聯

數據關聯階段負責將檢測結果與軌跡片段進行匹配。該過程通常利用運動和外觀特征計算物體間的相似性，并采用匹配策略進行關聯。運動特征基于運動的策略利用物體或攝像頭運動信息（運動特征）實現對物體的有效跟蹤。SORT 是該領域的開創性工作，采用卡爾曼濾波器預測物體位置，并將這些預測與新檢測結果進行比較。Tracktor通過圖像配準對齊幀來實現攝像機運動補償。OC-SORT通過聚焦于物體中心調整，對傳統卡爾曼濾波器方法進行改進，在不規則運動場景中實現了更優的跟蹤性能。BoTSOR提出利用基于特征點跟蹤，攝像頭運動補償來校正卡爾曼濾波器預測的邊界框位置。然而，先前研究在處理無人機視頻中的大量運動時常顯不足。本研究通過引入一種簡單高效的無人機專用運動補償技術，解決了這一問題，從而提升跟蹤精度并緩解邊界框失真。

無人機上的多目標跟蹤

在無人機視頻中的多目標跟蹤（MOT）中，由于目標尺寸較小且圖像模糊，會面臨獨特的挑戰。因此，近年來出現了如VisDrone等競賽，推動了針對無人機特定場景的專用方法的發展。V-IOU Tracker在缺乏檢測結果時通過視覺線索提升跟蹤性能。HMTT 采用分層架構并集成重新識別子網絡，而GIAOTracker 引入NSA卡爾曼濾波器，該濾波器在狀態更新過程中調整噪聲尺度，并采用多種后處理方法。相比之下，UAVMOT和FOLT提供在線跟蹤解決方案。UAVMOT 采用自適應運動濾波器應對復雜場景，而 FOLT 則利用光流跟蹤小型物體。與這些主要針對無人機場景優化運動跟蹤的方法不同，模型框架通過整合運動和外觀線索的改進，以及匹配策略，構建了一個更準確、更健壯的跟蹤系統，以應對無人機視頻中復雜環境的挑戰。

如果你也想要使用模型進行訓練或改進，Coovally——新一代AI開發平臺，為研究者和產業開發者提供極簡高效的AI訓練與優化體驗！Coovally支持計算機視覺全任務類型，包括目標檢測、文字識別、實例分割并且即將推出關鍵點檢測、多模態3D檢測、目標追蹤等全新任務類型。

千款模型+海量數據，開箱即用！

平臺匯聚國內外開源社區超1000+熱門模型，覆蓋YOLO系列、Transformer、ResNet等主流視覺算法。同時集成300+公開數據集，涵蓋圖像分類、目標檢測、語義分割等場景，一鍵下載即可投入訓練，徹底告別“找模型、配環境、改代碼”的繁瑣流程！

三、方法

本節介紹跟蹤策略 SF-Track（小型快速移動物體跟蹤），旨在解決無人機應用中低置信度檢測頻繁出現的問題。與先前方法采取的保守策略（僅從高置信度檢測結果開始跟蹤）不同，主動利用低置信度檢測結果作為跟蹤起點。此外，通過重新采用傳統外觀匹配算法（如顏色直方圖相似度和縮放圖像均方誤差）進行數據關聯，進一步提升跟蹤精度。采用了一種專為無人機視頻中不規則和快速運動設計的運動補償技術。

方法細節遵循算法1中的步驟。此跟蹤算法以視頻序列V為輸入，配合物體檢測器Det，其參數包括：檢測置信度閾值τ和低置信度檢測跟蹤閾值ρ。輸出結果為一組軌跡集T，每個軌跡包含跨幀的邊界框坐標，同時保持物體身份的連續性。

該過程首先使用目標檢測器預測邊界框和置信度分數。隨后，類似于BYTE ，我們根據分數閾值τ將檢測結果分為高置信度Dhigh和低置信度Dlow兩組（參見算法1的第1-12行）。

圖片3.png

無人機運動補償

在分離低分值和高分值檢測框后，我們采用一種增強的運動補償算法，該算法融入了一個簡單而有效的想法，靈感來源于Aharon等人的方法。雖然傳統的運動補償方法有效，但在低空無人機場景中，由于邊界框比例失真引起的錯誤，它往往會失效。我們的解決方案是一個直接的調整，即保持邊界框比例。為實現這一目標，我們通過提取特征點并利用稀疏光流跟蹤這些特征點，計算捕獲相機運動的仿射變換矩陣Mk。該矩陣包含縮放、旋轉和平移分量，指導邊界框的變換。隨后，我們使用卡爾曼濾波預測更新軌跡狀態向量T，并將Mk應用于該更新后的狀態向量。此外，為防止該過程中邊界框比例發生顯著失真，我們對Mk中的縮放因子施加約束，具體選擇x軸與y軸中較大的縮放因子，并將其均勻應用于兩軸。此方法可在幀間保持邊界框比例的一致性，即使在低空飛行時無人機攝像頭發生劇烈運動時亦然（圖2）。

圖片4.png

在補償無人機運動后，我們首先使用Re-ID特征的交并比（IoU）和余弦相似度將所有軌跡T與高置信度檢測Dhigh進行關聯。基于這些指標的乘積，采用匈牙利算法進行關聯。未匹配的高置信度檢測形成集合Dhigh remain，剩余軌跡構成集合Tremain（見算法1的第20-23行）。

低置信度檢測匹配

在完成初始關聯后，系統會對剩余軌跡集合T_remain與低置信度檢測集合D_low進行二次關聯。與第一輪采用基于深度學習的Re-ID特征不同，本輪關聯針對低置信度檢測提出使用傳統手工設計的表觀特征（參見算法1第24-27行）。具體而言，我們采用顏色直方圖相似度和縮放圖像均方誤差（MSE）作為表觀線索，通過匈牙利算法建立關聯關系，該關聯依賴三個關鍵值的乘積：交并比（IoU）、顏色直方圖相似度以及縮放圖像MSE。

顏色直方圖能有效捕捉圖像中物體的顏色分布特征。我們將每個顏色通道（R、G、B）的強度值均勻劃分為8個區間（0-31、32-63、...、224-255），并統計像素顏色值的出現頻率。顏色直方圖相似度通過巴氏距離[31]計算。此外，采用縮放圖像MSE衡量圖像差異度：首先將邊界框裁剪的圖像縮放到統一尺寸以確保尺度無關性，隨后計算兩幅圖像的MSE值。為將MSE轉換為0-1范圍的相似度分數，我們用1減去歸一化后的MSE值。

該設計的動機源于深度學習方法（包括Re-ID）的局限性——這些方法在低分辨率或遮擋場景下表現欠佳，因其傾向于聚焦前景物體而可能忽略背景中的目標物體。相比之下，傳統匹配算法（如顏色直方圖相似度和縮放圖像MSE）會考慮完整圖像信息，不受遮擋影響。因此，這些方法在遮擋和低分辨率場景中展現出更優性能。如圖3所示，我們的低置信度檢測關聯策略在低分辨率和遮擋情況下顯著優于基于深度學習的方法。

圖片5.png

完成低置信度檢測匹配階段后，任何在高/低置信度檢測匹配階段均未關聯成功的軌跡將從跟蹤池中移除（見算法1第28-29行）。此處我們參考BYTE方法的設計，為軌跡設置30幀的寬限期——若連續30幀未能匹配成功才予以刪除，該機制能有效避免因短暫遮擋或檢測失敗導致的軌跡誤終止。

基于低置信度檢測的軌跡初始化

與BYTE等先前方法不同，我們提出創新策略：不僅從未匹配的高置信度檢測（D_high_remain）初始化新軌跡，還允許從低置信度檢測初始化（見算法1第30-39行）。然而，直接初始化低置信度檢測軌跡會引入冗余、非必要甚至干擾性的物體候選目標。

為解決該問題，我們通過Re-ID特征計算低置信度檢測與同類別高置信度檢測的表觀相似度，將此過程作為過濾機制：僅當未匹配低置信度檢測（D_low_remain）與高置信度檢測的相似度超過預設閾值ρ時，才允許其初始化新軌跡。這種雙重驗證機制提升了低置信度檢測的可靠性，既改善了對小尺度物體的跟蹤效果，也增強了系統的整體性能。

四、數據集與評估指標

本研究在三個數據集上進行實驗：兩個無人機專用數據集VisDrone2019和UAVDT，以及通用數據集MOT17。評估采用CLEAR指標，包括多目標跟蹤準確率（MOTA）、誤報數（FP）、漏報數（FN）和ID切換次數（IDs）。

數據集

VisDrone2019包含五項任務：圖像目標檢測、視頻目標檢測、單目標跟蹤、多目標跟蹤（MOT）及無人機視頻人群計數。本文專注于該數據集的MOT任務，其訓練集含56個序列、驗證集7個序列、測試開發集17個序列。為公平對比，我們限定五類目標：行人、轎車、廂式車、卡車和巴士，與文獻的類別保持一致。

UAVDT是無人機檢測與跟蹤基準數據集，提供30個訓練序列和20個測試序列，僅針對MOT任務中的車輛跟蹤。該數據集獨特之處在于標注了環境屬性（如天氣、高度和攝像機視角），涵蓋多樣化的采集條件。

MOT17是多目標跟蹤領域的權威數據集，覆蓋行人、車輛等動態目標的豐富城市場景。我們遵循文獻的協議，將訓練集均分為訓練與驗證兩部分，并僅針對行人類別開展MOT任務。這是本研究中唯一的非無人機數據集。

UAVDT數據修正

研究發現UAVDT存在顯著標注錯誤（如圖4所示）：部分目標缺失標注，大量標注框在目標出現前或消失后仍持續存在。為提升研究準確性，我們對4721幀圖像進行標注修正，生成"Refined UAVDT"版本。該版本新增43,981個標注框（總量從340,906增至384,887）和55條軌跡。修正后的數據集將公開供后續研究使用。

圖片6.png

實現細節

實驗平臺配置Intel Core i9-10900X @ 3.70GHz處理器和NVIDIA GeForce RTX 3090顯卡。采用COCO數據集預訓練的YOLOX檢測器：

VisDrone2019/UAVDT實驗：在各自訓練集上訓練，輸入分辨率1920×1080（遵循[28]協議）
MOT17實驗：使用CrowdHuman和MOT17訓練集前半部分訓練，在后半部分驗證集測試，輸入分辨率1440×800。

無需代碼，訓練結果即時可見！

在Coovally平臺上，上傳數據集、選擇模型、啟動訓練無需代碼操作，訓練結果實時可視化，準確率、損失曲線、預測效果一目了然。無需等待，結果即訓即看，助你快速驗證算法性能！

從實驗到落地，全程高速零代碼！

無論是學術研究還是工業級應用，Coovally均提供云端一體化服務：

免環境配置：直接調用預置框架（PyTorch、TensorFlow等）；
免復雜參數調整：內置自動化訓練流程，小白也能輕松上手；
高性能算力支持：分布式訓練加速，快速產出可用模型；
無縫部署：訓練完成的模型可直接導出，或通過API接入業務系統。

！！點擊下方鏈接，立即體驗Coovally！！

平臺鏈接：https://www.coovally.com

無論你是算法新手還是資深工程師，Coovally以極簡操作與強大生態，助你跳過技術鴻溝，專注創新與落地。訪問官網，開啟你的零代碼AI開發之旅！

五、實驗與結果

與先進方法的對比

我們在VisDrone2019、UAVDT和MOT17三個數據集上與其他主流關聯方法進行了對比。需說明的是，UAVMOT和FOLT并非嚴格意義上的數據關聯方法，因此無法在完全相同的環境下評估。但我們參考了其原始論文的評估協議，并盡量在目標類別、輸入分辨率等設置上保持一致。

無人機數據集

在無人機數據集上，SFTrack在多數指標上顯著領先。例如：在VisDrone2019上，我們的MOTA指標比最優的ByteTrack提升4.9%，IDF1分數比當前最佳FOLT提高5.2%。但該方法存在誤報數（FP）增加與漏報數（FN）減少的權衡，這源于我們主動利用低置信度檢測并使用傳統表觀匹配算法的策略。值得注意的是，相比現有方法，SFTrack展現出更均衡的跟蹤性能。且在實際場景中，避免漏跟目標通常比短暫跟蹤非目標對象更為重要。