Griffin|增強現實數據集|無人機數據集

數據來源：huggingface 百度網盤

構建方式

Griffin數據集的構建采用了模塊化架構，結合了CARLA和AirSim平臺，通過模擬真實世界中的無人駕駛環境和無人機動態，收集了超過30,000幀圖像數據，覆蓋了多種無人機飛行高度、天氣條件和物體遮擋情況。數據采集框架包括一個基于Unreal Engine 4的服務器和一個Python客戶端，其中Python客戶端包含了四個專門的管理器，分別負責車輛規劃控制、無人機軌跡生成、環境配置和傳感器數據管理。數據預處理階段，對多源數據進行時空對齊，并利用CARLA的實例分割地面真實接口進行遮擋感知的3D標注。

特點

Griffin數據集的特點在于其多模態性、遮擋感知標注、無人機動態模擬和多樣性。數據集包含超過200個動態場景，涵蓋了城市和郊區兩種環境，以及多種天氣條件和車輛速度。無人機飛行高度從20米到60米不等，確保了數據集的多樣性。此外，數據集中的標注不僅包括目標類別、跟蹤ID和9維邊界框模型，還包括可見度比率，這使得數據集更適合研究遮擋場景下的感知問題。

使用方法

使用Griffin數據集進行研究和開發時，首先需要了解數據集的組織結構和標注信息。數據集包括多個場景，每個場景包含多個時間戳的圖像數據和對應的標注信息。研究人員可以根據自己的需求選擇合適的場景和任務，例如3D物體檢測和3D物體跟蹤。在使用數據集時，需要注意數據預處理，包括時空對齊和遮擋感知標注的處理。此外，研究人員還可以利用數據集提供的基準方法和評價指標來評估自己的算法性能。

背景與挑戰

背景概述

在自動駕駛技術的發展中，盡管取得了顯著進展，但目前的單視角系統在復雜環境中仍然面臨著嚴重遮擋和視野受限的基本挑戰。為了解決這些限制，越來越多的協作感知策略涌現出來，包括車對車（V2V）和車對基礎設施（V2I）的合作。這些方法已經展示了可行的解決方案和在感知能力上的顯著提升。然而，它們的實際實施通常需要大量的基礎設施投資和聯網車輛的廣泛采用，這可能會帶來經濟障礙。相比之下，車對無人機或所謂的空中-地面協作（AGC）系統利用了空中的全景視圖和地面級別的詳細觀察。無人機的集成提供了在關鍵應用中快速部署的獨特優勢，包括智慧城市、應急響應和安全巡邏，從而為動態環境感知提供了一個新的范例。盡管具有巨大的潛力，但開發有效的空中-地面協作感知系統仍然面臨著兩個關鍵的挑戰。第一個挑戰源于動態視角不匹配：與主要在水平平面上移動傳感器的V2V和V2I協作不同，無人機引入了高度變化和動態俯仰/橫滾角度變化，這使跨視圖特征的校準變得復雜。第二個挑戰是現有的無人機視圖3D感知數據集仍然存在缺陷。如表I所示，CoPerception-UAV和UAV3D等數據集缺乏遮擋感知注釋，導致邊界框包括不可見區域的目標。同時，許多數據集采用過于簡化的固定角度或固定高度的相機模型，這不能反映受風干擾和目標加速度等現實世界無人機動態的影響。受神話生物Griffin的啟發，它結合了獅子的陸地力量和鷹的空中主導地位，我們旨在利用空中和地面視角的聯合力量來克服這些挑戰并增強自動駕駛的感知能力。為此，我們為空中-地面協作3D感知提出了以下貢獻：Griffin，一個包含超過200個動態場景（30k+幀）的大型多模態數據集，具有不同的無人機高度（20-60m），多樣化的天氣條件和遮擋感知的3D注釋，并通過CARLA-AirSim聯合仿真增強了真實的無人機動態；一個統一的基準測試框架，用于評估空中-地面協作檢測和跟蹤任務，包括評估通信效率、延遲容忍度和高度適應性的協議；AGILE，一個實例級別的中間融合基準，通過基于查詢的交互動態地對齊跨視圖特征，在通信開銷和感知精度之間取得了有利的平衡。廣泛的實驗證明了空中-地面協作感知的有效性，并展示了進一步研究的方向。數據集和代碼可在https://github.com/wang-jh18-SVM/Griffin上獲得。

當前挑戰

空中-地面協作感知系統面臨著兩個關鍵的挑戰。第一個挑戰源于動態視角不匹配：與主要在水平平面上移動傳感器的V2V和V2I協作不同，無人機引入了高度變化和動態俯仰/橫滾角度變化，這使跨視圖特征的校準變得復雜。第二個挑戰是現有的無人機視圖3D感知數據集仍然存在缺陷。例如，CoPerception-UAV和UAV3D等數據集缺乏遮擋感知注釋，導致邊界框包括不可見區域的目標。同時，許多數據集采用過于簡化的固定角度或固定高度的相機模型，這不能反映受風干擾和目標加速度等現實世界無人機動態的影響。為了克服這些挑戰，Griffin數據集提供了高保真的3D注釋，覆蓋了六種對象類別：行人、汽車、卡車、公共汽車、摩托車和自行車。注釋包括類別標簽、跟蹤ID、可見率以及由x、y、z、長度、寬度、高度、翻滾、俯仰和偏航定義的9維邊界框模型。為了解決現有數據集中遮擋判斷的常見問題，我們開發了一種利用CARLA的實例分割地面真實接口的可視性量化方法。在數據收集過程中，RGB和分割圖像使用相同的傳感器配置記錄，以保持時空對齊。在后期處理階段，我們從每個目標的邊界框內采樣點并將其投影到分割地面真實值上。然后通過比較采樣像素和相應目標之間的語義類別和實例ID來計算可見率。過濾掉可見性低的目標，以確保注釋精度。

面向低空交通場景的通信與多模態感知仿真數據集

數據來源：http://pcni.pku.edu.cn/cn/dataset_3.html
PKU 低空交通場景數據集：由北京大學構建，包含十字路口低空交通場景和山區公路低空交通場景。數據集包含無人機端采集的 RGB 圖像和深度圖像，以及車端采集的激光雷達點云和毫米波雷達點云數據。十字路口場景有 1 個無人機端、12 個車端，共 1500 幀；山區公路場景有 1 個無人機端、8 個車端，共 1500 幀。

亮點與特色

①支持無人機三維軌跡和多速度仿真：在生成的動態場景中，該數據集考慮了環境中動態無人機的多種三維軌跡，包含爬升、俯沖、平飛等多種三維軌跡以及加速、減速、勻速等多種速度。

② 多視角的多模態感知數據：在數據集中，包含無人機端采集的RGB圖像和深度圖像，以及車端采集的激光雷達點云和毫米波雷達點云數據。

③ 通過碰撞檢測機制，保證數據集的真實性和有效性：為保證生成的大規模低空交通動態場景的合理性，基于動態物體的運動軌跡，實現了對動態物體的碰撞檢測。若動態物體發生碰撞，即可精確地提示發生碰撞的動態物體的名稱和對應發生碰撞的快照。

④ 場景的批量生成、排隊仿真和數據的自動化導出，使生成大規模無線通信信道數據集成為可能：將物體和天線的三維坐標進行批量修改，實現低空交通動態場景的批量生成，并完成了將生成的動態場景排隊仿真和仿真結束后數據的自動化導出的功能。

數據集介紹

本數據集包含十字路口低空交通場景和山區公路低空交通場景，各場景數據集簡要介紹和說明如下表

場景	數據種類	元素	數據大小	備注
十字路口低空交通	無線通信信道數據、激光雷達點云、RGB圖像、深度圖像、毫米波雷達點云	1個無人機端、12個車端	1500幀	常見城市交通場景
山區公路低空交通	無線通信信道數據、激光雷達點云、RGB圖像、深度圖像、毫米波雷達點云 1個無人機端、8個車端	1500幀	起伏較大、空曠的山區場景