[论文解读] Training Generative Adversarial Networks via Primal-Dual Subgradient Methods: A Lagrangian Perspective on GAN

Xu Chen, Jiang Wang+1 more|arXiv (Cornell University)|Feb 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 8

一句话总结

本文将 GAN 训练表述为凸优化的原始-对偶次梯度方法，将生成器和判别器分别解释为原始变量和对偶变量。通过使生成器更新与该框架中的最优下降方向对齐，该方法可证明收敛，并有效缓解模式崩溃，在 CIFAR-10 上实现了最先进（SOTA）的 inception 分数，在合成数据集和真实世界数据集上均表现出更优的多样性。

ABSTRACT

We relate the minimax game of generative adversarial networks (GANs) to finding the saddle points of the Lagrangian function for a convex optimization problem, where the discriminator outputs and the distribution of generator outputs play the roles of primal variables and dual variables, respectively. This formulation shows the connection between the standard GAN training process and the primal-dual subgradient methods for convex optimization. The inherent connection does not only provide a theoretical convergence proof for training GANs in the function space, but also inspires a novel objective function for training. The modified objective function forces the distribution of generator outputs to be updated along the direction according to the primal-dual subgradient methods. A toy example shows that the proposed method is able to resolve mode collapse, which in this case cannot be avoided by the standard GAN or Wasserstein GAN. Experiments on both Gaussian mixture synthetic data and real-world image datasets demonstrate the performance of the proposed method on generating diverse samples.

研究动机与目标

• 通过将 GAN 训练与凸优化中的原始-对偶次梯度方法关联，建立其理论基础。
• 通过从拉格朗日形式导出的新训练目标，解决 GAN 中长期存在的模式崩溃问题。
• 利用原始-对偶框架，在函数空间中为 GAN 训练提供收敛性保证。
• 开发一种简单、低复杂度的正则化项，增强多样性，且无需改变网络架构。

提出的方法

• 本文将标准 GAN 的极小-极大博弈表述为寻找拉格朗日函数的鞍点，其中判别器输出和生成器分布分别扮演原始和对偶角色。
• 推导出一种新颖的生成器目标，使生成器输出分布沿最优原始-对偶次梯度方向进行更新。
• 在生成器损失中引入一种正则化项，使更新方向与原始-对偶次梯度方法对齐，从而提升收敛性和多样性。
• 该方法基于凸优化理论，确保在适当步长选择下实现收敛。
• 该框架被应用于合成数据（高斯混合模型）和真实世界数据集（MNIST、CIFAR-10），且仅需极少的架构修改。

实验结果

研究问题

• RQ1 GAN 中的极小-极大博弈能否被解释为凸优化的原始-对偶次梯度方法？
• RQ2 这种解释是否能导出在函数空间中可证明收敛的 GAN 训练算法？
• RQ3 原始-对偶形式能否有效缓解 GAN 中的模式崩溃？
• RQ4 与标准 GAN 和 WGAN 相比，所提出的损失函数在样本多样性和质量方面表现如何？

主要发现

• 在具有 8 个模式的二维高斯混合分布上，所提方法成功生成所有模式的样本，而标准 GAN 和 WGAN 均出现模式崩溃。
• 在 MNIST 上，该方法实现了 9.8 的 inception 分数，优于基线 GAN 的 8.8。
• 在 CIFAR-10 上，该方法实现了 4.53 的 inception 分数，显著优于 WGAN 的 3.82，且与采用更复杂架构的其他先进 GAN 变体相当或更优。
• 判别器输出在数据支持范围内收敛至 0.5，与理论预测一致，证实了对最优解的收敛。
• 该方法仅需在生成器损失中添加一个简单的正则化项，无需架构修改或复杂的训练流程。