[论文解读] Variance Regularizing Adversarial Learning

Karan Grewal, R Devon Hjelm+1 more|arXiv (Cornell University)|Jul 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 5

一句话总结

本文提出方差正则化对抗学习，用真实/虚假标签上的双峰高斯分布替代判别器的得分，通过元对抗训练隐式匹配该目标分布。该方法确保即使判别器完美时，生成器仍能获得非零梯度，从而在基准数据集上实现真实与虚假模式重叠的平滑分类器输出。

ABSTRACT

We introduce a novel approach for training adversarial models by replacing the discriminator score with a bi-modal Gaussian distribution over the real/fake indicator variables. In order to do this, we train the Gaussian classifier to match the target bi-modal distribution implicitly through meta-adversarial training. We hypothesize that this approach ensures a non-zero gradient to the generator, even in the limit of a perfect classifier. We test our method against standard benchmark image datasets as well as show the classifier output distribution is smooth and has overlap between the real and fake modes.

研究动机与目标

• 解决当判别器过于准确时GAN中梯度消失的问题。
• 通过确保即使在判别器达到完美极限时仍向生成器提供非零梯度，提升训练稳定性。
• 将判别器输出建模为双峰高斯分布，以实现更平滑的决策边界。
• 通过元对抗训练隐式匹配目标双峰分布。
• 通过实证验证，分类器输出分布中真实与虚假模式具有有意义的重叠。

提出的方法

• 用真实/虚假指示变量上的双峰高斯分布替代标准判别器得分。
• 使用元对抗训练，训练高斯分类器以隐式匹配目标双峰分布。
• 使用元优化更新生成器，使判别器的输出分布与期望的双峰形式对齐。
• 引入方差正则化机制，即使在判别器最优时也能维持梯度流动。
• 制定训练目标，以鼓励真实与虚假模式之间的分布平滑且重叠。
• 将该方法应用于标准图像生成基准，以评估性能和分布特性。

实验结果

研究问题

• RQ1 在真实/虚假标签上使用双峰高斯分布是否能通过保持对生成器的梯度流动来稳定GAN训练？
• RQ2 所提方法如何影响判别器输出分布中真实与虚假样本之间的重叠与平滑性？
• RQ3 元对抗训练是否能有效将高斯分类器与目标双峰分布对齐？
• RQ4 方差正则化对GAN训练稳定性与模式覆盖性有何影响？
• RQ5 与标准GAN相比，该方法在样本质量和分布一致性方面表现如何？

主要发现

• 所提方法即使在判别器完美时也能确保向生成器提供非零梯度，从而解决梯度消失问题。
• 判别器输出分布变得平滑，并在真实与虚假模式之间表现出显著重叠。
• 元对抗训练成功将高斯分类器与目标双峰分布对齐。
• 该方法在标准图像基准上实现了稳定训练，并提升了分布一致性。
• 分类器输出呈现出结构良好、非退化的分布，表明决策边界具有鲁棒性。