[论文解读] On Catastrophic Forgetting and Mode Collapse in Generative Adversarial Networks

Hoang Thanh-Tung, Truyen Tran|arXiv (Cornell University)|Jul 11, 2018

Generative Adversarial Networks and Image Synthesis被引用 25

一句话总结

本文揭示了生成对抗网络（GANs）即使在单目标分布训练过程中也存在灾难性遗忘（CF），将 GAN 训练重新定义为持续学习问题，其中生成器分布的变化被视为一系列连续任务。作者表明，CF 会通过破坏判别器维持真实数据点为广泛局部极大值的能力，导致模式崩溃和非收敛。为此，本文提出梯度惩罚（R1、0GP）、动量优化器以及一种不平衡损失，以稳定训练并提升泛化能力。

ABSTRACT

In this paper, we show that Generative Adversarial Networks (GANs) suffer from catastrophic forgetting even when they are trained to approximate a single target distribution. We show that GAN training is a continual learning problem in which the sequence of changing model distributions is the sequence of tasks to the discriminator. The level of mismatch between tasks in the sequence determines the level of forgetting. Catastrophic forgetting is interrelated to mode collapse and can make the training of GANs non-convergent. We investigate the landscape of the discriminator's output in different variants of GANs and find that when a GAN converges to a good equilibrium, real training datapoints are wide local maxima of the discriminator. We empirically show the relationship between the sharpness of local maxima and mode collapse and generalization in GANs. We show how catastrophic forgetting prevents the discriminator from making real datapoints local maxima, and thus causes non-convergence. Finally, we study methods for preventing catastrophic forgetting in GANs.

研究动机与目标

• 识别并分析灾难性遗忘（CF）作为 GAN 训练中的根本性问题，即使在近似单个目标分布时亦然。
• 研究 CF、模式崩溃与非收敛在 GAN 中的关系，挑战 GAN 训练为单任务问题的假设。
• 解释为何在灾难性遗忘下，真实数据点无法在判别器输出景观中成为稳定的局部极大值，以及这如何破坏收敛性。
• 通过 CF 的视角评估现有 GAN 训练技术（如 WGAN-GP、R1、0GP、动量优化器）的效能。
• 提出一种新型不平衡损失函数，通过零计算开销增强判别器中真实数据点的表征。

提出的方法

• 将 GAN 训练重新定义为持续学习问题，其中每个演化中的生成器分布构成判别器的新任务。
• 分析判别器输出景观，识别真实数据点处的局部极大值，以极大值的锐度作为模式崩溃与泛化能力的代理指标。
• 引入方向单调性度量以检测 CF，其中方向单调的判别器无法收敛至均衡状态。
• 应用零中心梯度惩罚（R1 与 0GP），强制真实数据点处梯度为零，促进判别器中出现广泛局部极大值。
• 提出一种不平衡损失函数，对真实数据施加更大的权重 γ > 1，以惩罚判别器对真实样本的低分输出，防止其成为局部极小值。
• 将不平衡损失与现有梯度惩罚结合，进一步稳定训练并提升泛化能力。

实验结果

研究问题

• RQ1 GAN 训练即使在建模单一目标分布时是否仍表现出灾难性遗忘？
• RQ2 灾难性遗忘与 GAN 中的模式崩溃及非收敛有何关联？
• RQ3 判别器输出景观中局部极大值的锐度与宽度在模式崩溃与泛化中起何作用？
• RQ4 为何方向单调的判别器会阻碍 GAN 收敛？
• RQ5 现有 GAN 训练技术（如梯度惩罚与动量优化器）是否可被理解为防止灾难性遗忘的机制？

主要发现

• GAN 训练本质上涉及灾难性遗忘，因为判别器对先前数据分布的知识在训练过程中被擦除，即使在单目标设置下亦然。
• 灾难性遗忘会阻止真实数据点在判别器输出中成为广泛局部极大值，从而导致非收敛与模式崩溃。
• 当 GAN 以无模式崩溃的良好均衡状态收敛时，真实数据点是判别器的广泛局部极大值；极大值越锐利，模式崩溃越严重。
• 方向单调的判别器（CF 的标志）无法收敛至稳定均衡，证实 CF 是非收敛的根本原因。
• 梯度惩罚（R1、0GP）、动量优化器以及所提出的不平衡损失函数均通过保持或增强真实数据点极大值的稳定性来缓解 CF。
• 采用 γ > 1 的不平衡损失显著提升了 CIFAR-10 上的 Inception Score 并降低了分数方差，证明了在无额外计算开销下质量与稳定性的提升。