[论文解读] Regularizing Generative Adversarial Networks under Limited Data

Hung-Yu Tseng, Lu Jiang+3 more|arXiv (Cornell University)|Apr 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 80被引用 11

一句话总结

本文提出了一种新颖的正则化方法，用于在数据有限的情况下训练生成对抗网络（GANs），通过在判别器输出及其移动平均值之间施加ℓ₂范数，强制真实图像与生成图像预测之间的一致性。该方法稳定了训练过程，提升了泛化能力，并在结合数据增强时实现了最先进（SOTA）的FID分数（例如，在10% ImageNet上达到21.70）。

ABSTRACT

Recent years have witnessed the rapid progress of generative adversarial networks (GANs). However, the success of the GAN models hinges on a large amount of training data. This work proposes a regularization approach for training robust GAN models on limited data. We theoretically show a connection between the regularized loss and an f-divergence called LeCam-divergence, which we find is more robust under limited training data. Extensive experiments on several benchmark datasets demonstrate that the proposed regularization scheme 1) improves the generalization performance and stabilizes the learning dynamics of GAN models under limited training data, and 2) complements the recent data augmentation methods. These properties facilitate training GAN models to achieve state-of-the-art performance when only limited training data of the ImageNet benchmark is available.

研究动机与目标

• 解决在仅有有限训练数据时训练鲁棒GAN的挑战。
• 在数据稀缺条件下，提升GAN的泛化能力和训练稳定性，尤其针对高容量模型。
• 开发一种在概念和实证上均与现有数据增强技术互补的模型正则化方法。
• 从理论上将该正则化与LeCam散度联系起来，后者在数据有限时具有更强的鲁棒性。

提出的方法

• 引入一种正则化损失，惩罚真实图像当前判别器预测与生成图像过去预测移动平均值之间的ℓ₂差异。
• 以相反方式应用相同正则化：惩罚生成图像当前预测与真实图像过去预测移动平均值之间的差异。
• 理论分析表明，该正则化在弱假设下将WGAN目标转化为最小化LeCam散度。
• 正则化在判别器训练期间应用，且与多种GAN架构和损失函数兼容。
• 该方法使用自适应移动平均（α_R 和 α_F）来追踪历史预测，并强制实现一致性。
• 正则化强度λ在合理范围内（例如[0.1, 0.5]）进行调优，以避免负散度和性能下降。

实验结果

研究问题

• RQ1 是否一种模型正则化方法能在不依赖数据增强的情况下，提升数据有限条件下的GAN泛化能力？
• RQ2 在数据稀缺时，所提出的正则化是否能稳定GAN的训练动态？
• RQ3 该正则化方法是否与现有数据增强技术在提升GAN性能方面具有互补性？
• RQ4 与LeCam散度的理论联系是否能解释其在数据有限条件下的鲁棒性提升？

主要发现

• 当结合数据增强时，该正则化在10% ImageNet上将FID分数提升了10.9分，达到最先进（SOTA）的21.70分。
• 在CIFAR-10使用20%数据时，当同时对真实图像和生成图像预测进行正则化时，FID从基线的21.86降低至15.27。
• 该方法在更大模型上效果最显著，表明在过拟合更严重的高容量架构中，更强的正则化能带来更大收益。
• 正则化稳定了判别器预测，防止在数据稀缺条件下真实图像与生成图像得分之间出现发散。
• 即使在数据增强导致全标注数据集性能下降时，该方法仍保持有效性，表明其避免了相同的性能下降。
• 消融研究证实，同时对真实图像和生成图像预测进行正则化可获得最佳性能，优于仅使用单一项的正则化。