[论文解读] Overcoming Mode Collapse with Adaptive Multi Adversarial Training

Karttikeya Mangalam, Rohin Garg|arXiv (Cornell University)|Dec 29, 2021

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出自适应多对抗训练（AMAT），一种新颖的 GAN 训练框架，通过缓解判别器中的灾难性遗忘，动态生成额外判别器以应对模式崩溃。通过存储样本数据并在检测到遗忘时添加判别器，AMAT 在多种 GAN 架构中提升了模式覆盖率和训练稳定性，实现了最先进 FID 分数和改进的 Inception 分数，且无需架构修改。

ABSTRACT

Generative Adversarial Networks (GANs) are a class of generative models used for various applications, but they have been known to suffer from the mode collapse problem, in which some modes of the target distribution are ignored by the generator. Investigative study using a new data generation procedure indicates that the mode collapse of the generator is driven by the discriminator's inability to maintain classification accuracy on previously seen samples, a phenomenon called Catastrophic Forgetting in continual learning. Motivated by this observation, we introduce a novel training procedure that adaptively spawns additional discriminators to remember previous modes of generation. On several datasets, we show that our training scheme can be plugged-in to existing GAN frameworks to mitigate mode collapse and improve standard metrics for GAN evaluation.

研究动机与目标

• 为解决 GAN 中长期存在的模式崩溃问题，该问题导致数据多样性差且训练不稳定。
• 探究模式崩溃的根本原因，即在持续训练过程中判别器中灾难性遗忘的关联性。
• 开发一种即插即用的解决方案，通过动态添加判别器来保留已学习模式，从而增强现有 GAN 框架。
• 在合成数据集和真实世界数据集上验证该方法，证明其在模式覆盖率和评估指标上的改进。

提出的方法

• 通过监控判别器在先前生成模式的存储样本数据上的准确率，引入一种机制以检测判别器中的灾难性遗忘。
• 当检测到遗忘时，生成一个新的判别器并训练其专门识别被遗忘的模式，以保留其分类能力。
• 在训练过程中存储每个模式的样本数据，作为检测遗忘和指导判别器生成的记忆库。
• 每次新增判别器后，自适应地提高遗忘阈值和学习率缩放因子，以稳定学习过程。
• 使用归一化流的合成数据生成过程，实现高维空间中模式崩溃与恢复的二维投影可视化。
• 该框架可兼容任何现有 GAN 架构，且无需修改生成器或判别器网络，可无缝集成。

实验结果

研究问题

• RQ1 判别器中的灾难性遗忘是否导致 GAN 中的模式崩溃？
• RQ2 通过自适应生成判别器来保留被遗忘数据模式的记忆，能否缓解模式崩溃？
• RQ3 AMAT 在标准基准测试中与标准 GAN 及其他模式崩溃缓解技术相比表现如何？
• RQ4 该方法是否可在无需架构修改的情况下有效应用于多种 GAN 架构？
• RQ5 合成数据生成过程是否能实现对模式崩溃动态的可靠可视化与分析？

主要发现

• AMAT 在所有测试的 GAN 中显著降低 FID 分数：DCGAN 从 34.7 降至 30.14，ResNetGAN 从 36.4 降至 16.35，WGAN-GP 从 19.1 降至 17.2，SN-GAN 从 14.5 降至 13.8，BigGAN 从 10.5 降至 6.11。
• 尽管判别器容量匹配，单判别器模型仍无法达到 AMAT 的性能，证明容量本身不足以解决模式崩溃问题。
• 在 784 维的合成 8 高斯环数据集上，AMAT 仅通过增加两个额外判别器即成功恢复全部 8 个模式，而原始 GAN 展现出循环性模式崩溃。
• Inception 分数从 DCGAN 的 5.97 提升至 6.32，ResNetGAN 从 6.59 提升至 8.10，WGAN-GP 从 7.72 提升至 7.80，SN-GAN 从 8.24 提升至 8.34，BigGAN 从 9.14 提升至 9.51。
• 该方法具有鲁棒性和泛化能力，在 DCGAN、ResNetGAN、WGAN-GP、SN-GAN 和 BigGAN 等多种架构中均表现出一致的性能提升。
• 合成数据生成过程实现了对模式崩溃与恢复的清晰可视化，证实遗忘是导致崩溃的关键驱动因素。