[论文解读] Progressive Augmentation of GANs

Dan Zhang, Anna Khoreva|arXiv (Cornell University)|Jan 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 10

一句话总结

本文提出渐进式增强生成对抗网络（PA-GAN），一种正则化技术，通过在结构上向判别器的输入或特征空间中添加随机比特，逐步提高其任务难度。通过这种方式，PA-GAN 防止判别器过度自信，维持生成器的有意义梯度，提升训练稳定性和性能，在多个基准测试中平均 FID 提升约 3 个点。

ABSTRACT

Training of Generative Adversarial Networks (GANs) is notoriously fragile, requiring to maintain a careful balance between the generator and the discriminator in order to perform well. To mitigate this issue we introduce a new regularization technique - progressive augmentation of GANs (PA-GAN). The key idea is to gradually increase the task difficulty of the discriminator by progressively augmenting its input or feature space, thus enabling continuous learning of the generator. We show that the proposed progressive augmentation preserves the original GAN objective, does not compromise the discriminator's optimality and encourages a healthy competition between the generator and discriminator, leading to the better-performing generator. We experimentally demonstrate the effectiveness of PA-GAN across different architectures and on multiple benchmarks for the image synthesis task, on average achieving ~3 point improvement of the FID score.

研究动机与目标

• 解决由于判别器过度自信和梯度消失导致的 GAN 训练不稳定性问题。
• 在整个训练过程中保持生成器与判别器之间健康、动态的竞争关系。
• 引入一种正则化方法，保留原始 GAN 的目标，且不对判别器最优性造成偏差。
• 在不损害判别器最优性或不修改网络架构的前提下提升生成器性能。
• 实现与现有 GAN 架构及正则化技术的广泛兼容性。

提出的方法

• PA-GAN 通过在输入或中间特征表示中追加随机二进制比特，逐步增强判别器的输入或特征空间。
• 增强后的输入将原始数据或特征与随机比特结合，形成更复杂的判别任务。
• 增强样本的类别基于原始数据与随机比特的组合确定，使真实与生成样本同时嵌入两类中。
• 增强程度在训练过程中逐步增加，系统性地提升任务难度。
• 该方法与现有正则化技术正交，可与之结合使用，如标签平滑、梯度惩罚和自监督学习。
• 该方法仅需极少的架构修改，可无缝集成至现有 GAN 框架（如 SN DCGAN 和 SA GAN）中。

实验结果

研究问题

• RQ1 能否通过渐进式增强判别器的输入或特征空间来改善 GAN 的训练稳定性？
• RQ2 PA-GAN 是否在防止判别器过度自信的同时，保留了原始 GAN 的目标？
• RQ3 PA-GAN 是否能在不进行架构修改或标签监督的情况下提升 FID 分数？
• RQ4 PA-GAN 与其他正则化技术（如梯度惩罚或标签平滑）的相互作用如何？
• RQ5 在无监督设置下，PA-GAN 是否能达到如 BigGAN 这类大规模有监督 GAN 的性能水平？

主要发现

• 在多个基准测试（包括 Fashion-MNIST、CIFAR10、CELEBA-HQ 和 Tiny-ImageNet）中，PA-GAN 平均 FID 提升约 3 个点。
• 在 CIFAR10 上，PA-GAN 与 SS-GAN 结合时，在无监督设置下实现了 14.7 的 SOTA FID 分数，性能与使用标签监督的 BigGAN 相当。
• 该方法在理论上被证明保留了原始 GAN 目标，且不对判别器最优性造成偏差。
• PA-GAN 通过防止判别器过度自信并维持对生成器有用的梯度，改善了训练动态。
• 该技术在不同架构（SN DCGAN、SA GAN）上均有效，且可与标签平滑、梯度惩罚和 Dropout 等其他正则化方法结合使用。
• 增强程度的渐进式提升确保了损失景观的稳定、连续的学习过程，避免了突变。