[论文解读] Which Training Methods for GANs do actually Converge?

Lars Mescheder, Andreas Geiger+1 more|arXiv (Cornell University)|Jan 13, 2018

Generative Adversarial Networks and Image Synthesis被引用 606

一句话总结

论文分析GAN训练动力学，表明在数据/生成器落在流形上时，未正则化的GAN可能不收敛，并展示哪些正则化项（实例噪声、零均值梯度惩罚）能够促进局部收敛，而WGANs/WGAN-GP在某些更新方案下可能失效。

ABSTRACT

Recent work has shown local convergence of GAN training for absolutely continuous data and generator distributions. In this paper, we show that the requirement of absolute continuity is necessary: we describe a simple yet prototypical counterexample showing that in the more realistic case of distributions that are not absolutely continuous, unregularized GAN training is not always convergent. Furthermore, we discuss regularization strategies that were recently proposed to stabilize GAN training. Our analysis shows that GAN training with instance noise or zero-centered gradient penalties converges. On the other hand, we show that Wasserstein-GANs and WGAN-GP with a finite number of discriminator updates per generator update do not always converge to the equilibrium point. We discuss these results, leading us to a new explanation for the stability problems of GAN training. Based on our analysis, we extend our convergence results to more general GANs and prove local convergence for simplified gradient penalties even if the generator and data distribution lie on lower dimensional manifolds. We find these penalties to work well in practice and use them to learn high-resolution generative image models for a variety of datasets with little hyperparameter tuning.

研究动机与目标

• 评估在一般（非绝对连续）数据与生成器分布下，GAN训练是否会收敛。
• 评估正则化策略在简单与现实的GAN设置下对收敛性的影响。
• 提出带有可证明局部收敛保证的简化梯度惩罚。
• 了解高分辨率图像生成中GAN训练不稳定性来源的实际影响。

提出的方法

• 引入 Dirac-GAN，作为分析GAN训练收敛性属性的最小反例。
• 分析在不同训练方案下平衡点处梯度场的雅可比矩阵特征值。
• 审查若干正则化技术（实例噪声、零中心化梯度惩罚、共识优化）并推导它们对局部收敛的影响。
• 推导简化的梯度惩罚形式，并在给定假设下证明局部收敛。
• 将收敛性分析扩展到对在低维流形上分布的更一般的GAN。
• 进行二维和图像域实验，以比较不同方法的收敛行为。

实验结果

研究问题

• RQ1 当数据与生成器分布落在低维流形上时，未正则化的GAN是否收敛？
• RQ2 哪些正则化技术能够恢复GAN训练的局部收敛？
• RQ3 在什么条件下基于Wasserstein的GAN及梯度惩罚变体会收敛或不收敛？
• RQ4 简化的梯度惩罚是否能在更一般的GAN中提供可证明的收敛性？
• RQ5 收敛性属性如何从 Dirac-GAN 转化到高维图像生成任务？

主要发现

• 在广义情况下，带流形支撑分布的未正则化GAN训练可能不收敛。
• 在 Dirac-GAN 上，WGANs 和 WGAN-GP 在每个生成器更新固定判别器更新次数的情况下，并非普遍收敛。
• 实例噪声与零中心化梯度惩罚在 Dirac-GAN 中诱导局部收敛。
• 在合适假设下，带简化形式的梯度惩罚能够在平衡附近实现局部收敛。
• 正则化惩罚将收敛性结果扩展到生成器和数据分布落在低维流形上的GAN。
• 实证结果显示 R1/R2 梯度惩罚稳定训练并在有限的超参数调整下实现高分辨率图像生成。