[论文解读] Solving Approximate Wasserstein GANs to Stationarity.

Maziar Sanjabi, Jimmy Ba+2 more|arXiv (Cornell University)|Feb 22, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 15

一句话总结

本文提出了一种对非光滑Wasserstein GAN目标的平滑近似，使得能够通过一阶优化实现高效计算，并保证收敛至驻点。通过用可微分的替代损失替换原始的非光滑损失，该方法简化了训练过程，同时允许有效使用复杂的代价函数，包括基于对抗性学习的潜在表示的代价函数，且保持了强大的理论保证。

ABSTRACT

Generative Adversarial Networks (GANs) are one of the most practical strategies to learn data distributions. A popular GAN formulation is based on the use of Wasserstein distance as a metric between probability distributions. Unfortunately, minimizing the Wasserstein distance between the data distribution and the generative model distribution is a challenging problem as its objective is non-convex, non-smooth, and even hard to compute. In this work, we propose to use a smooth approximation of the Wasserstein GANs. We show that this smooth approximation is close to the original objective. Moreover, obtaining gradient information of this approximate formulation is computationally effortless and hence one can easily apply first order optimization methods to optimize this objective. Based on this observation, we proposed a class of algorithms with guaranteed theoretical convergence to stationarity. Unlike the original non-smooth objective, our proposed algorithm only requires solving the discriminator to approximate optimality. We applied our method to learning Gaussian mixtures on a grid and also to learning MNIST digits. Our method allows the use of powerful cost functions based on latent representations of the data, where this latent representation could also be optimized adversarially.

研究动机与目标

• 解决最小化非光滑、非凸Wasserstein GAN目标所面临的计算与理论挑战。
• 开发Wasserstein GAN损失的可微分近似，以支持高效的基于梯度的优化。
• 确保在标准一阶优化方案下实现理论上的收敛至驻点。
• 允许在生成模型中有效使用基于学习到的潜在表示的复杂代价函数。
• 在保持训练稳定性的同时，实现潜在表示的对抗性优化。

提出的方法

• 提出原始非光滑Wasserstein GAN目标函数的平滑近似。
• 利用该平滑代理函数，通过标准反向传播实现梯度的简便计算。
• 对近似目标函数应用一阶优化方法，确保收敛至驻点。
• 通过仅要求判别器达到近似最优，实现生成器与判别器训练的解耦。
• 将潜在空间代价函数整合至目标函数中，支持潜在表示的对抗性学习。
• 通过利用新目标函数的平滑性与可微性，确保理论上的收敛保证。

实验结果

研究问题

• RQ1 非光滑Wasserstein GAN目标的平滑近似是否能够实现高效且稳定的训练？
• RQ2 所提出的平滑目标是否能够在一阶方法下保证收敛至驻点？
• RQ3 基于学习到的潜在表示的复杂代价函数能否被有效整合进训练过程？
• RQ4 在样本质量和训练稳定性方面，该平滑近似与原始非光滑Wasserstein GAN相比表现如何？
• RQ5 在不损害训练收敛性的情况下，潜在表示的对抗性优化程度在多大程度上是可行的？

主要发现

• Wasserstein GAN目标的平滑近似在理论上接近原始非光滑形式，保留了期望的分布度量特性。
• 对近似目标函数的梯度计算计算开销极低，支持高效使用一阶优化算法。
• 与原始非光滑形式不同，该方法在标准一阶优化方案下可保证收敛至驻点。
• 该方法可有效使用基于学习到的潜在表示的复杂代价函数，包括对这些表示的对抗性优化。
• 在高斯混合分布和MNIST数据集上的实验结果表明，该方法实现了稳定训练和高质量的样本生成。
• 即使在使用非平凡代价函数的情况下，该方法在MNIST上仍实现了具有竞争力的性能，同时保持了理论收敛性。