Gen-n-Val：利用代理技術革新計算機視覺數據生成

論文信息

@article{huang2025gennval,title={Gen-n-Val: Agentic Image Data Generation and Validation},author={Huang, Jing-En and Fang, I-Sheng and Huang, Tzuhsuan and Wang, Chih-Yu and Chen, Jun-Cheng},journal={arXiv preprint arXiv:2506.04676},year={2025}
}

研究背景：計算機視覺的數據困境

在計算機視覺領域，數據就像模型的"糧食"。想象一下，自動駕駛系統需要識別路上的各種物體——從常見的汽車、行人，到罕見的施工警示牌或野生動物。但現實是，標注大規模高質量數據集耗時又費力，比如標注一張圖像中的物體邊界可能需要數分鐘，而訓練一個先進模型可能需要數萬張圖像。

更麻煩的是"標簽噪聲"問題：人工標注難免出錯，可能把"卡車"誤標為"公交車"，或者分割掩碼漏掉物體的一部分。這就像給學生批改作業時寫錯答案，模型會跟著學歪。

為解決數據稀缺，研究者想到生成合成數據。但傳統方法好比"粗制濫造的流水線"：比如MosaicFusion生成的圖像中，50%存在嚴重問題——要么一個掩碼里包含多個物體（像把貓和狗畫在同一個框里），要么分割不準確（比如蘋果的掩碼多出一塊陰影），甚至標簽錯誤（把橘子標成蘋果）。這種"劣質數據"喂給模型，反而會降低性能。

創新點：給數據生成裝上"智能質檢員"

Gen-n-Val的核心創新是引入兩個"智能代理"，讓數據生成過程像有經驗的工匠一樣精益求精：

1. LD提示代理（LLM大腦）：用大語言模型優化圖像生成提示詞，就像一個文案專家，把簡單的"生成一只狗"變成"高分辨率、陽光下的金毛尋回犬，背景干凈，毛發細節清晰"，確保層擴散模型生成單對象、高精度的前景圖像和分割掩碼。

2. 數據驗證代理（VLLM質檢員）：用視覺語言模型充當"質檢員"，自動檢查生成的圖像是否符合標準——是否只有一個對象、是否完整、背景是否干凈。這就像工廠里的質檢流水線，把不合格的產品（如包含多個物體的圖像）過濾掉。

研究方法和思路：數據生成的四步流水線

1. 智能提示詞生成：讓機器學會"精準描述"

• 傳統方法用"single object"這樣的簡單提示，結果模糊不清。Gen-n-Val用TextGrad技術優化提示詞，就像反復調整搜索關鍵詞：先讓LLM生成初始提示，再根據生成效果用梯度下降優化，直到提示詞能精準指導層擴散模型生成單對象圖像。
• 例如，將"生成一個橙子"優化為"高分辨率、陽光下的鮮橙，表皮有細微紋理，背景純白"。

2. 前景與背景分離生成：像剪紙一樣精準

• 利用層擴散（LD）技術生成透明前景圖像，每個像素包含RGB值和透明度通道，直接作為分割掩碼。這就像用透明膠片剪出物體輪廓，無需額外分割算法。
• 同時生成多樣化背景（室內/室外），解決傳統方法中背景單一的問題。

3. 自動質量過濾：拒絕"殘次品"

• VLLM作為驗證代理，按四個標準檢查圖像：
  • 單對象（Only one object）
  • 單視角（Single viewpoint）
  • 完整無缺（Intact object）
  • 背景簡潔（Plain background）
• 例如，發現圖像中有兩個雪人的話，直接過濾。

4. 圖像和諧合成：打造真實場景

• 用圖像和諧技術將多個前景對象粘貼到背景中，調整顏色和光影，讓合成圖像看起來自然真實，就像用Photoshop精心處理過一樣。

主要貢獻：數據質量提升帶來模型性能飛躍

1. 數據質量革命：將無效數據從MosaicFusion的50%降至7%，相當于工廠廢品率大幅下降。

2. 模型性能顯著提升：

   • 在COCO實例分割中，YOLOv9c的掩碼mAP提升2.1%，稀有類別提升3.6%；YOLO11m的掩碼mAP提升3.1%，稀有類別提升3.6%。
   • 在開放詞匯目標檢測中，YOLO11m相比基線提升7.1% mAP，相當于能多識別7%的新類別物體。

3. 為稀有類別"雪中送炭"：傳統方法對罕見物體（如"鴕鳥"）效果差，Gen-n-Val通過合成更多稀有類數據，讓模型不再"少見多怪"。

4. 可擴展的解決方案：數據量越大效果越好，生成20K數據時模型性能仍在提升，適合大規模應用。

---

關鍵問題

1. Gen-n-Val如何解決現有合成數據的質量問題？
   • 答案：Gen-n-Val通過兩個代理協同工作，LD提示代理（LLM）優化LD提示，生成單對象、精確掩碼的前景實例和干凈背景；數據驗證代理（VLLM）按單對象、單視角等標準過濾低質量圖像，結合TextGrad優化提示，將無效數據從50%降至7%。
2. Gen-n-Val在YOLO系列模型上的性能提升如何？
   • 答案：在COCO實例分割中，YOLOv9c箱mAP提升1.8%、掩碼mAP提升2.1%，稀有類掩碼mAP提升3.6%；YOLO11m箱mAP提升2.1%、掩碼mAP提升3.1%，稀有類掩碼mAP提升3.6%。在開放詞匯目標檢測中，YOLO11m箱mAP提升7.1%、掩碼mAP提升4.9%。
3. Gen-n-Val的可擴展性如何？
   • 答案：隨著合成數據集規模增加，模型性能持續提升。在COCO數據集上，使用20K合成數據時，YOLO11m箱mAP達52.0，掩碼mAP達43.0，相比4K數據分別提升1.2%和0.8%。

總結：讓數據生成更智能，讓模型訓練更高效

Gen-n-Val通過引入LLM和VLLM代理，將數據生成從"粗放式生產"升級為"智能制造"：用語言模型優化生成提示，用視覺語言模型保證數據質量，最終實現"高質量數據→高性能模型"的良性循環。

實驗表明，這種方法在實例分割和開放詞匯檢測中均大幅超越傳統技術，尤其對稀有類別效果顯著。未來，該框架有望成為計算機視覺數據增強的標配工具，緩解數據稀缺問題，推動自動駕駛、醫療影像等領域的發展。