[论文解读] Virtual Adversarial Lipschitz Regularization

Dávid Terjék|arXiv (Cornell University)|Jul 12, 2019

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种新型方法——虚拟对抗Lipschitz正则化（VALR），通过利用对抗扰动，显式地在Wasserstein GAN中强制执行判别器的1-Lipschitz约束，从而克服了以往显式Lipschitz惩罚在实际应用中的不可行性。该方法实现了具有竞争力的生成性能，并揭示了Lipschitz正则化与对抗训练之间存在紧密联系。

ABSTRACT

Generative adversarial networks (GANs) are one of the most popular approaches when it comes to training generative models, among which variants of Wasserstein GANs are considered superior to the standard GAN formulation in terms of learning stability and sample quality. However, Wasserstein GANs require the critic to be 1-Lipschitz, which is often enforced implicitly by penalizing the norm of its gradient, or by globally restricting its Lipschitz constant via weight normalization techniques. Training with a regularization term penalizing the violation of the Lipschitz constraint explicitly, instead of through the norm of the gradient, was found to be practically infeasible in most situations. Inspired by Virtual Adversarial Training, we propose a method called Adversarial Lipschitz Regularization, and show that using an explicit Lipschitz penalty is indeed viable and leads to competitive performance when applied to Wasserstein GANs, highlighting an important connection between Lipschitz regularization and adversarial training.

研究动机与目标

• 为解决在Wasserstein GAN中强制执行1-Lipschitz约束的挑战，该约束对训练稳定性和生成样本质量至关重要。
• 克服显式Lipschitz正则化在实际应用中的不可行性，尽管其在理论上具有吸引力，但此前在大多数设置中均以失败告终。
• 探索是否可以利用对抗训练原则，使显式Lipschitz惩罚变得可行且有效。
• 建立Lipschitz正则化与对抗训练之间的联系，证明二者在GAN优化中具有相互促进的潜力。

提出的方法

• 该方法引入了一种基于虚拟对抗扰动的新正则化项，直接惩罚判别器网络中1-Lipschitz约束的违反。
• 通过一阶近似避免梯度计算开销，计算出在给定输入下使判别器输出差异最大化之扰动。
• 对抗扰动沿判别器输出关于输入的梯度方向计算，且受限于小范数，以确保为局部扰动。
• 正则化损失源自该扰动下判别器输出梯度的范数，从而有效强制实现局部Lipschitz连续性。
• 将此显式惩罚整合进Wasserstein GAN目标函数中，替代或补充传统的梯度惩罚或权重归一化方法。
• 该方法设计为计算高效且可扩展，避免了多次前向传播或复杂架构约束的需要。

实验结果

研究问题

• RQ1 尽管先前已失败，显式Lipschitz正则化是否能在Wasserstein GAN中实现实际可行？
• RQ2 基于对抗扰动的正则化与梯度范数惩罚相比，在训练稳定性和样本质量方面表现如何？
• RQ3 在GAN优化背景下，Lipschitz正则化与对抗训练之间存在何种关系？
• RQ4 利用虚拟对抗训练原则是否能提升显式Lipschitz约束的有效性？
• RQ5 该方法是否能在不依赖梯度惩罚或权重归一化等隐式正则化手段的情况下实现具有竞争力的性能？

主要发现

• 所提出的虚拟对抗Lipschitz正则化（VALR）以实用且有效的方式成功强制执行了1-Lipschitz约束，克服了以往显式正则化方法的局限性。
• VALR在基准数据集上实现了具有竞争力的生成性能，与使用梯度惩罚或权重归一化的标准WGAN结果相当或更优。
• 该方法表明，当与对抗扰动技术结合时，显式Lipschitz正则化是可行的，从而挑战了以往认为其不可行的假设。
• 该方法揭示了Lipschitz正则化与对抗训练之间存在强烈的概念与实证联系，暗示二者在稳定GAN训练中具有共享的归纳偏置。
• VALR在无需额外超参数的情况下维持了训练稳定性和泛化性能，表明其易于集成。