[论文解读] Primal-Dual Wasserstein GAN

Mevlana Gemici, Zeynep Akata+1 more|arXiv (Cornell University)|May 24, 2018

Medical Imaging Techniques and Applications参考文献 13被引用 11

一句话总结

本文提出了一种新型生成建模框架——原始-对偶Wasserstein GAN（PD-WGAN），该框架统一了用于学习灵活推理机制的原始最优传输问题与用于判别器网络对抗训练的对偶公式。通过利用原始问题中的近似耦合来正则化判别器的梯度范数与方向，PD-WGAN在CIFAR-10、CUB鸟类和牛津花卉数据集上均实现了优于WGAN-GP和WAE-GAN的FID与Inception Score，展现出更优的模式覆盖能力和样本质量。

ABSTRACT

We introduce Primal-Dual Wasserstein GAN, a new learning algorithm for building latent variable models of the data distribution based on the primal and the dual formulations of the optimal transport (OT) problem. We utilize the primal formulation to learn a flexible inference mechanism and to create an optimal approximate coupling between the data distribution and the generative model. In order to learn the generative model, we use the dual formulation and train the decoder adversarially through a critic network that is regularized by the approximate coupling obtained from the primal. Unlike previous methods that violate various properties of the optimal critic, we regularize the norm and the direction of the gradients of the critic function. Our model shares many of the desirable properties of auto-encoding models in terms of mode coverage and latent structure, while avoiding their undesirable averaging properties, e.g. their inability to capture sharp visual features when modeling real images. We compare our algorithm with several other generative modeling techniques that utilize Wasserstein distances on Frechet Inception Distance (FID) and Inception Scores (IS).

研究动机与目标

• 通过结合自编码与基于GAN的学习优势，解决VAE存在的模糊样本问题（如后验近似与平均效应）。
• 通过利用最优传输框架，克服标准GAN在训练稳定性与理论基础方面的不足。
• 开发一种统一的训练算法，通过最优传输的原始与对偶公式，同时学习高质量的生成模型与精确的推理机制。
• 通过使用原始问题中的近似耦合，对判别器网络不仅在范数上，而且在梯度方向上进行正则化，从而提升样本质量与模式覆盖能力。

提出的方法

• 该方法使用原始最优传输公式来学习数据分布与生成器分布之间的近似耦合π̃*，作为判别器网络的引导。
• 采用对偶公式通过一个由近似耦合π̃*正则化的判别器网络，实现生成器的对抗性训练。
• 采用混合损失函数，结合基于原始耦合的重建项（λmix）与惩罚判别器梯度方向与大小偏差的梯度正则化项（λf）。
• 判别器网络通过向量梯度惩罚进行训练，强制其梯度保持单位范数并沿耦合π̃*中的传输方向对齐，从而提升泛化性与稳定性。
• 编码器通过原始耦合学习将数据点映射到潜在码，实现高精度重建与结构化的潜在流形。
• 通过可微分目标函数端到端训练模型，利用超参数λmix与λf平衡重建保真度、模式覆盖与样本质量。

实验结果

研究问题

• RQ1 结合原始与对偶最优传输公式的统一框架，是否能同时提升生成建模中的样本质量与模式覆盖？
• RQ2 使用原始问题中的近似耦合对判别器的梯度方向与范数进行正则化，是否能带来比标准梯度范数惩罚更稳定、更泛化的训练？
• RQ3 所提方法是否能在保持高重建精度与结构化潜在空间的前提下，实现优于WGAN-GP与WAE-GAN的FID与Inception Score？
• RQ4 重建保真度（λmix）与判别器正则化（λf）之间的权衡，如何影响样本质量与模式覆盖之间的平衡？

主要发现

• 在CIFAR-10上，PD-WGAN实现了33.0的Fréchet Inception Distance（FID），优于WGAN-GP（34.4）与WAE-GAN（87.7），表明其样本质量更优。
• 在CIFAR-10上，PD-WGAN的Inception Score为6.70 ± 0.09，高于WGAN-GP（6.58 ± 0.06）与WAE-GAN（4.18 ± 0.04）。
• 在CUB鸟类数据集上，PD-WGAN的FID为68.6，Inception Score为4.65 ± 0.04，优于WGAN-GP（70.4与4.51 ± 0.04）与WAE-GAN（143.3与3.42 ± 0.04）。
• 在牛津花卉数据集上，PD-WGAN的FID为84.9，Inception Score为3.75 ± 0.04，显著优于WGAN-GP（98.7与3.42 ± 0.04）与WAE-GAN（145.9与2.30 ± 0.01）。
• 附录F中的视觉对比显示，与WGAN-GP和WAE-GAN相比，PD-WGAN生成的样本更清晰、更具多样性，避免了VAE与WAE中常见的平均化伪影。
• PD-WGAN学习到的潜在空间在插值质量与结构上优于WGAN-GP，表明其具有更优的解耦性与泛化能力。