[论文解读] Relaxed Wasserstein with Applications to GANs

Xin Guo, Johnny Hong+2 more|arXiv (Cornell University)|May 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 22

一句话总结

本文通过使用Bregman代价函数对Wasserstein-1距离进行泛化，提出了松弛Wasserstein（RW）距离，从而实现更灵活且计算效率更高的GAN训练。使用Kullback-Leibler代价函数的RWGAN在真实图像数据集上的收敛速度和鲁棒性方面优于WGAN和带有梯度惩罚的WGAN。

ABSTRACT

Wasserstein Generative Adversarial Networks (WGANs) provide a versatile class of models, which have attracted great attention in various applications. However, this framework has two main drawbacks: (i) Wasserstein-1 (or Earth-Mover) distance is restrictive such that WGANs cannot always fit data geometry well; (ii) It is difficult to achieve fast training of WGANs. In this paper, we propose a new class of extit{Relaxed Wasserstein} (RW) distances by generalizing Wasserstein-1 distance with Bregman cost functions. We show that RW distances achieve nice statistical properties while not sacrificing the computational tractability. Combined with the GANs framework, we develop Relaxed WGANs (RWGANs) which are not only statistically flexible but can be approximated efficiently using heuristic approaches. Experiments on real images demonstrate that the RWGAN with Kullback-Leibler (KL) cost function outperforms other competing approaches, e.g., WGANs, even with gradient penalty.

研究动机与目标

• 解决WGAN的局限性，包括对数据几何形状的严格要求和收敛速度慢的问题。
• 开发一种广义距离度量，平衡统计灵活性与计算可行性。
• 在保持高质量样本生成的前提下，实现GAN更快、更稳定的训练。
• 提供一个统一的框架，使用Bregman散度作为代价函数来学习生成模型。

提出的方法

• 通过Bregman代价函数泛化Wasserstein-1距离，定义一类新的松弛Wasserstein（RW）距离。
• 证明RW距离受总变差距离支配，并推导出非渐近矩估计。
• 建立RW距离的对偶表示，以支持基于梯度的优化。
• 提出一种基于Bregman函数的非对称裁剪启发式方法，以在判别器中强制实施Lipschitz约束。
• 将RW距离整合到GAN框架中，形成RWGAN，使用大步长的RMSProp进行训练。
• 在CIFAR-10和ImageNet上，使用DCGAN和MLP架构将该框架应用于图像生成。

实验结果

研究问题

• RQ1 Bregman代价函数是否能在不牺牲计算效率的前提下，提升Wasserstein GAN的统计灵活性？
• RQ2 RW距离的对偶性如何支持GAN中有效的基于梯度的训练？
• RQ3 与WGAN和带有梯度惩罚的WGAN相比，RWGAN框架是否实现了更快的收敛速度和更好的鲁棒性？
• RQ4 不同Bregman代价函数（如KL散度）对样本质量和训练稳定性有何影响？
• RQ5 RWGAN框架在CIFAR-10和ImageNet等多样化图像数据集上是否具有良好的泛化能力？

主要发现

• 在CIFAR-10和ImageNet上，使用Kullback-Leibler代价函数的RWGAN的inception得分高于WGAN和带有梯度惩罚的WGAN。
• 在CIFAR-10上，使用DCGAN架构的RWGAN在训练结束时达到2.70的inception得分，优于WGAN（2.80）和WGAN(g)（2.73）。
• 在ImageNet上，RWGAN达到2.70的inception得分，与WGAN持平，并在最后几个训练周期中略微优于WGAN(g)（2.73）。
• 训练曲线显示，RWGAN收敛更快，且生成器和判别器的损失更稳定；而WGAN(g)表现出较高的不稳定性。
• RWGAN生成的样本图像在10个训练周期内即可变得可解释，表明其学习动态更快。
• 结合非对称裁剪和基于Bregman的代价函数的RWGAN框架，实现了有效且高效的训练，兼顾了鲁棒性与效率。