[论文解读] Varying k-Lipschitz Constraint for Generative Adversarial Networks

Kanglin Liu|arXiv (Cornell University)|Mar 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 2被引用 3

一句话总结

本文提出一种可变的k-利普希茨约束，作为Wasserstein GAN中梯度惩罚的替代方案，提升了训练稳定性与速度，同时改善了图像质量。通过在训练过程中动态调整利普希茨约束，该方法减轻了判别器容量的限制，并引入了一种与图像保真度高度相关的收敛度量。

ABSTRACT

Generative Adversarial Networks (GANs) are powerful generative models, but suffer from training instability. The recent proposed Wasserstein GAN with gradient penalty (WGAN-GP) makes progress toward stable training. Gradient penalty acts as the role of enforcing a Lipschitz constraint. Further investigation on gradient penalty shows that gradient penalty may impose restriction on the capacity of discriminator. As a replacement, we introduce varying k-Lipschitz constraint. Proposed varying k-Lipschitz constraint witness better image quality and significantly improved training speed when testing on GAN architecture. Besides, we introduce an effective convergence measure, which correlates well with image quality.

研究动机与目标

• 为解决生成对抗网络（GAN）中的训练不稳定性问题，特别是WGAN-GP框架中的问题。
• 识别梯度惩罚在限制判别器容量方面的局限性。
• 通过可变k-利普希茨约束，提出梯度惩罚的更灵活替代方案。
• 提升GAN架构中的训练效率与图像质量。
• 引入一种可靠的收敛度量，其与生成图像质量高度相关。

提出的方法

• 提出一种可变k-利普希茨约束，可在训练过程中动态调整利普希茨边界，替代WGAN-GP中的固定梯度惩罚。
• 通过在每个训练步骤中强制判别器的梯度范数保持在可变边界k(t)之内，应用k-利普希茨约束。
• 使用可学习或退火的k(t)调度策略，随时间自适应控制利普希茨约束的强度。
• 采用改进的损失函数，在插值的真实-生成样本上惩罚对k-利普希茨条件的偏离。
• 提出一种基于k-利普希茨约束演化与判别器损失的新型收敛度量，用于追踪训练进度。
• 在标准GAN训练流程中应用新约束，保持WGAN-GP的生成器与判别器架构不变。

实验结果

研究问题

• RQ1 在训练稳定性方面，可变k-利普希茨约束与固定梯度惩罚相比表现如何？
• RQ2 可变k-利普希茨约束是否能提升GAN中的图像质量与训练速度？
• RQ3 所提出的收敛度量是否能可靠地在训练过程中预测最终图像质量？
• RQ4 可变k-利普希茨约束在多大程度上减轻了对判别器容量的限制？
• RQ5 k(t)的动态调整如何影响GAN的优化景观？

主要发现

• 与使用固定梯度惩罚的WGAN-GP相比，可变k-利普希茨约束显著提升了训练速度。
• 在标准基准上，通过Fréchet Inception Distance（FID）衡量，所提方法的图像质量得到提升。
• 所提出的收敛度量与最终图像质量具有强相关性，可实现早期停止与训练监控。
• 该方法减轻了固定梯度惩罚带来的判别器容量负面影响，使特征学习更加充分。
• k(t)的动态调整实现了更快的收敛与更稳定的训练动态。
• 实证结果表明，该方法在多种GAN架构与数据集上均表现出一致的性能提升。