[论文解读] Some Theoretical Insights into Wasserstein GANs

Gérard Biau, Maxime Sangnier+1 more|arXiv (Cornell University)|Jun 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 85被引用 17

一句话总结

本文通过使用神经网络参数化的1-Lipschitz判别器，将Wasserstein GANs（WGANs）的架构形式化为积分概率度量，提供了对WGANs的理论洞见。研究建立了经验WGANs的收敛性质，并揭示了生成器与判别器容量之间存在关键权衡：更深的判别器能提升训练稳定性并减少模式崩溃，尤其在有限样本情形及真实图像数据集（如MNIST和Fashion-MNIST）中表现显著。

ABSTRACT

Generative Adversarial Networks (GANs) have been successful in producing outstanding results in areas as diverse as image, video, and text generation. Building on these successes, a large number of empirical studies have validated the benefits of the cousin approach called Wasserstein GANs (WGANs), which brings stabilization in the training process. In the present paper, we add a new stone to the edifice by proposing some theoretical advances in the properties of WGANs. First, we properly define the architecture of WGANs in the context of integral probability metrics parameterized by neural networks and highlight some of their basic mathematical features. We stress in particular interesting optimization properties arising from the use of a parametric 1-Lipschitz discriminator. Then, in a statistically-driven approach, we study the convergence of empirical WGANs as the sample size tends to infinity, and clarify the adversarial effects of the generator and the discriminator by underlining some trade-off properties. These features are finally illustrated with experiments using both synthetic and real-world datasets.

研究动机与目标

• 通过使用神经网络参数化的1-Lipschitz判别器，在积分概率度量框架内形式化WGANs的架构。
• 研究随着样本量增加，经验WGANs在渐近和有限样本情形下的收敛性质。
• 从统计性能和模式崩溃的角度，阐明生成器与判别器容量之间的对抗性权衡。
• 通过合成数据和真实世界数据集（包括MNIST和Fashion-MNIST）的实证验证，检验理论发现。
• 证明更大的判别器容量可提升训练稳定性并提高召回率，从而缓解WGAN训练中的模式崩溃。

提出的方法

• 使用神经网络参数化的1-Lipschitz判别器，对WGANs进行基于积分概率度量的理论分析。
• 将WGAN目标形式化为在参数化生成器族与1-Lipschitz判别器族上的极小化-极大化问题。
• 在样本量增加的条件下，对经验WGANs进行收敛性分析，建立估计生成器分布的一致性。
• 使用1-Lipschitz函数作为度量的Wasserstein距离，评估真实数据与生成数据之间的分布相似性。
• 通过合成高斯混合分布和真实数据集（MNIST、Fashion-MNIST）进行实证评估，性能通过Wasserstein距离和召回率指标衡量。
• 系统性地消融生成器和判别器的深度（p和q），以评估其对分布近似和模式覆盖的影响。

实验结果

研究问题

• RQ1 在有限样本和渐近情形下，生成器与判别器的容量如何影响WGANs的收敛性和稳定性？
• RQ2 判别器上的1-Lipschitz约束与WGANs优化性质之间的理论关系是什么？
• RQ3 从分布近似和模式覆盖的角度看，生成器与判别器的容量如何权衡？
• RQ4 在以召回率衡量时，更深的判别器在多大程度上能减少WGAN训练中的模式崩溃？
• RQ5 经验WGANs的理论收敛保证是否可在高维真实世界数据集（如MNIST和Fashion-MNIST）上得到实证验证？

主要发现

• 更深的判别器显著提升了训练稳定性并减少了模式崩溃，多个实验中平均召回率更高。
• WGAN训练中最差表现出现在生成器深度大（p=7）而判别器深度小（q=3）时，证实了容量之间存在关键权衡。
• 当判别器深度q增加时，生成分布的平均召回率提升，表明对真实数据模式的覆盖更好。
• 在合成数据和真实世界数据集上，经验分布与生成分布之间的最大Wasserstein距离随判别器深度增加而减小，尤其当p适中时更为明显。
• 在MNIST和Fashion-MNIST上的实证结果证实，更大的判别器能通过预训练分类器提取的特征嵌入之间Wasserstein距离的减小，实现更好的分布近似。
• 有限样本实验支持经验WGANs的理论收敛性，显示随着样本量增加和容量配置最优，分布相似性持续改善。