[论文解读] Training Generative Adversarial Networks with Limited Data

Tero Karras, Miika Aittala+4 more|arXiv (Cornell University)|Jun 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 932

一句话总结

引入自适应鉴别器增强（ADA），在小数据集上稳定GAN训练，不改变损失函数或架构，在成千上万张图像的情况下实现高质量结果，并建立新的CIFAR-10基准。

ABSTRACT

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

研究动机与目标

• 激发在数据稀缺时GAN过拟合的问题，并量化其对训练稳定性的影响。
• 提出一种基于增强的方法，防止判别器过拟合而不泄漏到生成的图像中。
• 开发一个自适应机制，在训练过程中控制增强强度。
• 在多种数据集和迁移学习场景中证明有效性，包括将CIFAR-10作为有限数据基准。
• 与替代方法进行比较，并为小数据GANs建立实用指南。

提出的方法

• 提出随机化的判别器增强，对提供给判别器的所有图像应用一组多样且可微的增强，包括在生成器训练期间也应用。
• 开发非泄漏增强理论，确保增强不会泄露到生成图像中，概率性应用由 p 控制。
• 设计一个包含18种变换、跨六个类别的增强管道，以固定顺序以概率 p 应用，并确保可微分以进行反向传播。
• 引入自适应鉴别器增强（ADA），基于在训练/验证/生成数据上的判别器输出利用过拟合启发式来调节增强强度 p。
• 使用两个过拟合启发式 r_v 和 r_t 来引导 p，最终采用具有目标值 (0.6) 的 r_t 以驱动自适应。
• 在从头训练和迁移学习的GAN设置中评估 ADA，并与诸如 bCR 及各种架构/判别器调整等替代方法进行比较。

实验结果

研究问题

• RQ1 在有限数据下训练的 GAN 中，是否可以在不改变损失函数或网络架构的情况下缓解判别器过拟合？
• RQ2 非泄漏的随机判别器增强是否在不同数据集规模和领域中稳定GAN训练？
• RQ3 在训练过程中应如何自适应调节增强强度，以防止过拟合同时保持生成器的质量？
• RQ4 ADA 是否提升小数据集和迁移学习场景的性能？与相关方法如 bCR 相比如何？
• RQ5 CIFAR-10 是否真的是一个有限数据基准，ADA 是否能显著提升其指标？

主要发现

• ADA 在有限数据上显著稳定了GAN训练，防止判别器过拟合和发散。
• 多样且非泄漏的可微增强集合可应用于所有判别器输入（以及生成器输入），而不会泄漏到生成的图像。
• 通过过拟合启发式对增强强度 (p) 的自适应控制，在不同数据集规模下比固定增强获得更好的 FID/KID 分数。
• ADA 从从头开始和通过迁移学习都取得了强劲结果，通常在少一个数量级的图像下达到甚至超过 StyleGAN2 的质量。
• 在 CIFAR-10 上，ADA 将 FID 从 5.59 提升到 2.42，并在类别条件设置中提升 IS，表明 CIFAR-10 是一个有限数据基准，ADA 提供了显著收益。
• ADA 保持能耗低效，并且不会显著增加训练成本。