[论文解读] Smoothness and Stability in GANs

Casey Chu, Kentaro Minami+1 more|arXiv (Cornell University)|Feb 11, 2020

Model Reduction and Neural Networks参考文献 45被引用 20

一句话总结

本文提出一个理论框架，将 GAN 损失函数的光滑性与训练稳定性联系起来，表明只有当损失函数和生成器架构满足特定光滑性条件时，生成器上的梯度下降才能收敛至驻点。该文推导了稳定性的条件，解释了为何常见的 GAN 技术（如梯度惩罚和谱归一化）有效，并提出一种基于再生核希尔伯特空间（RKHS）的新 GAN，其满足所有光滑性要求，实现了更优的稳定性。

ABSTRACT

Generative adversarial networks, or GANs, commonly display unstable behavior during training. In this work, we develop a principled theoretical framework for understanding the stability of various types of GANs. In particular, we derive conditions that guarantee eventual stationarity of the generator when it is trained with gradient descent, conditions that must be satisfied by the divergence that is minimized by the GAN and the generator's architecture. We find that existing GAN variants satisfy some, but not all, of these conditions. Using tools from convex analysis, optimal transport, and reproducing kernels, we construct a GAN that fulfills these conditions simultaneously. In the process, we explain and clarify the need for various existing GAN stabilization techniques, including Lipschitz constraints, gradient penalties, and smooth activation functions.

研究动机与目标

• 解决尽管广泛使用正则化技术，GAN 训练仍不稳定这一理论谜题。
• 识别在梯度下降下保证收敛至驻点的 GAN 损失和生成器架构的精确光滑性条件。
• 在一个统一的理论框架内，统一解释现有稳定化技术（如梯度惩罚和谱归一化）的有效性。
• 构建一种满足所有推导出的光滑性条件的新 GAN 变体，确保训练稳定。

提出的方法

• 将 GAN 训练形式化为对生成器目标函数 $ J(\mu_\theta) = \sup_\varphi \mathcal{J}(\mu_\theta, \varphi) $ 的梯度下降，将极小极大问题简化为单一优化问题。
• 应用凸分析与最优传输的工具，推导出 $ J(\mu_\theta) $ 为 $ L $-光滑的充分条件，从而确保梯度下降的稳定性。
• 利用具有高斯核的再生核希尔伯特空间（RKHS）构造满足所有光滑性条件的损失函数，从而实现理论上的收敛保证。
• 引入一种正则化的 GAN 目标函数，其中通过 RKHS 范数对生成器的输出分布施加惩罚，以在生成器参数化中强制实现光滑性。
• 推导 RKHS 范数惩罚的共轭函数，以实现可计算的优化与理论分析。
• 提出一种无维度的核函数 $ K(x,y) = e^{-\pi \|x-y\|^2} $，以提升数值稳定性和理论可处理性。

实验结果

研究问题

• RQ1 在 GAN 损失和生成器架构上，哪些光滑性条件是梯度下降收敛至驻点的必要且充分条件？
• RQ2 为何常见的 GAN 正则化技术（如梯度惩罚和谱归一化）能提升训练稳定性，尽管其目标存在重叠？
• RQ3 能否构建一种 GAN，使其在理论上满足所有光滑性条件，从而确保训练稳定？
• RQ4 现有 GAN 变体（如 WGAN 和谱归一化 GAN）与所提出的光滑性框架有何关联？

主要发现

• 大多数标准 GAN 损失（包括 WGAN 和标准 GAN）均不满足梯度下降稳定所需的全部光滑性条件，这解释了其经验上的不稳定性。
• 所提出的基于 RKHS 惩罚的 GAN 实现了完全的光滑性，保证了对生成器的梯度下降收敛至驻点。
• 梯度惩罚和谱归一化之所以有效，是因为它们强制执行了稳定所必需的光滑性条件，从而提供了统一的理论解释。
• 使用光滑激活函数在理论上是合理的，因为它们有助于保持生成器输出分布的光滑性。
• 同时应用谱归一化和梯度惩罚比单独使用任一方法更有效，因为它们共同强制执行了光滑性条件的不同组成部分。
• 建议关键参数 $ \sigma = (2\pi)^{-1/2} $ 用于高斯核，以确保数值稳定性和理论一致性。