簡介
簡介:作者針對數據有限場景下GANs訓練中的判別器過擬合問題,提出了CHAIN(Lipschitz連續性約束歸一化)方法。作者首先從理論角度分析了GAN泛化誤差,發現減少判別器權重梯度范數對提升泛化能力至關重要。然后深入研究了批歸一化(BN)在GAN判別器中應用困難的根本原因,通過理論分析證明BN的中心化和縮放步驟會導致梯度爆炸。基于這些發現,CHAIN設計了兩個核心模塊:用零均值正則化替代中心化步驟的0MR模塊,以及帶有Lipschitz約束的自適應均方根歸一化ARMS模塊。CHAIN通過自適應插值機制平衡歸一化和非歸一化特征,有效避免判別器過擬合。實驗表明,CHAIN在CIFAR-10/100、ImageNet以及多個少樣本數據集上達到了最先進的性能,驗證了其在數據受限場景下提升GAN泛化能力的有效性。
論文題目:CHAIN: Enhancing Generalization in Data-Efficient GANs via lipsCHitz continuity constrAIned Normalization