智慧城市是城市生活的未來。 然而，它們可能給城市規劃者帶來各種挑戰，尤其是在交通領域。 為了取得成功，城市的各個方面—從環境和基礎設施到商業和教育—必須在功能上整合。
這可能很困難，因為單獨管理交通流量是一個復雜的問題，充滿了擁堵、事故應急響應和排放等挑戰。
為了應對這些挑戰，開發人員正在創建具有現場可編程性和靈活性的人工智能軟件。 這些軟件定義的物聯網解決方案可以為交通管理、車牌識別、智能停車和事故檢測等實時環境提供可擴展、可立即部署的產品。
盡管如此，構建有效的人工智能模型說起來容易做起來難。 遺漏值、重復示例、錯誤標簽和錯誤特征值是訓練數據的常見問題，可能導致模型不準確。 對于自動駕駛汽車來說，不準確的結果可能是危險的，還可能導致交通系統效率低下或城市規劃不良。
在線工具推薦：?Three.js AI紋理開發包?-?YOLO合成數據生成器?-?GLTF/GLB在線編輯?-?3D模型格式在線轉換?-?可編程3D場景編輯器?
1、實時城市交通的數字孿生
NVIDIA Metropolis 合作伙伴、端到端 AI 工程公司 SmartCow 在 NVIDIA Omniverse 上創建了交通場景的數字孿生。 這些數字孿生生成合成數據集并驗證人工智能模型的性能。
該團隊通過使用 NVIDIA Omniverse Replicator 生成合成數據，解決了由于缺乏足夠數據來構建優化的 AI 訓練管道而導致的常見挑戰。
所有 Omniverse 擴展的基礎是通用場景描述，稱為 OpenUSD。 USD 是一種功能強大的交換工具，具有高度可擴展的屬性，虛擬世界就建立在其基礎上。 智慧城市的數字孿生依賴于高度可擴展和可互操作的 USD 功能來實現準確模擬現實世界的大型高保真場景。
Omniverse Replicator 是 Omniverse 平臺的核心擴展，使開發人員能夠以編程方式生成帶注釋的合成數據，以引導 AI 模型感知的訓練。 當真實數據集有限或難以獲取時，合成數據特別有用。
通過使用數字孿生，SmartCow 團隊生成了準確代表現實世界交通場景和違規情況的合成數據。 這些合成數據集有助于驗證人工智能模型并優化人工智能訓練管道。
2、構建車牌檢測擴展
智能交通管理系統面臨的最重大挑戰之一是車牌識別。 開發一個適用于具有不同規則、法規和環境的多個國家和城市的模型需要多樣化且強大的訓練數據。 為了為模型提供充足且多樣化的訓練數據，SmartCow 在 Omniverse 中開發了一個擴展來生成合成數據。
Omniverse 中的擴展是可重用的組件或工具，可提供強大的功能來增強管道和工作流程。 在 Omniverse Kit 中構建擴展后，開發人員可以輕松地將其分發給客戶，以便在 Omniverse USD Composer、Omniverse USD Presenter 和其他應用程序中使用。
SmartCow 的擴展名為車牌合成生成器 (LP-SDG)，它使用環境隨機化器和物理隨機化器來使合成數據集更加多樣化和真實。
環境隨機發生器模擬數字孿生環境中的照明、天氣和其他因素（例如雨、雪、霧或灰塵）的變化。 物理隨機發生器模擬可能影響模型識別車牌號碼的能力的劃痕、污垢、凹痕和變色。
3、用Omniverse Replicator 生成合成數據
數據生成過程從在 Omniverse 中創建 3D 環境開始。 Omniverse 中的數字孿生可用于許多模擬場景，包括生成合成數據。 最初的 3D 場景是由 SmartCow 的內部技術藝術家構建的，確保數字孿生盡可能與現實相匹配。
生成場景后，將使用域隨機化來改變光源、紋理、相機位置和材質。 整個過程是使用內置的 Omniverse Replicator API 以編程方式完成的。
生成的數據與邊界框標注和訓練所需的其他輸出變量一起導出。
4、模型訓練
初始模型使用 3,000 張真實圖像進行訓練。 目標是了解基線模型性能并驗證正確的邊界框尺寸和光線變化等方面。
接下來，該團隊進行了實驗，以比較綜合生成的 3,000 個樣本、30,000 個樣本和 300,000 個樣本的數據集的基準。
SmartCow 軟件工程師 Natalia Mallia 表示：“憑借 Omniverse 獲得的真實感，基于合成數據訓練的模型有時會優于基于真實數據訓練的模型。” “使用合成數據實際上消除了真實圖像訓練數據集中自然存在的偏差。”
為了提供準確的基準測試和比較，該團隊在對三種大小的綜合生成的數據集進行訓練時，將數據隨機化到一致的參數（例如一天中的時間、劃痕和視角）。 真實世界數據不會與合成數據混合進行訓練，以保持比較準確性。 每個模型都根據大約 1,000 張真實圖像的數據集進行了驗證。
SmartCow 的團隊將 Omniverse LP-SDG 擴展的訓練數據與 NVIDIA TAO 集成，后者是一個低代碼 AI 模型訓練工具包，利用遷移學習的力量來微調模型。
該團隊使用 NGC 目錄中提供的預訓練車牌檢測模型，并使用 TAO 和 NVIDIA DGX A100 系統對其進行微調。
5、使用 NVIDIA DeepStream 進行模型部署
然后使用 NVIDIA DeepStream SDK 將 AI 模型部署到自定義邊緣設備上。
然后，他們實施了一個持續學習循環，其中包括從邊緣設備收集漂移數據，將數據反饋回 Omniverse Replicator，并合成可重新訓練的數據集，這些數據集通過自動標記工具傳遞并反饋回 TAO 進行訓練。
這個閉環管道有助于創建準確有效的人工智能模型，用于自動檢測每條車道的交通方向以及任何異常時間停滯的車輛。
6、結束語
用于生成合成數據集和驗證人工智能模型性能的數字孿生工作流程是為智慧城市交通構建更有效的人工智能模型的重要一步。 使用合成數據集有助于克服數據集有限的挑戰，并提供準確有效的人工智能模型，從而實現高效的交通系統和更好的城市規劃。
原文鏈接：Omniverse合成數據生成 - BimAnt
)
)
)
