[论文解读] On gradient regularizers for MMD GANs

Michael Arbel, Danica J. Sutherland+2 more|arXiv (Cornell University)|May 29, 2018

Numerical methods in inverse problems参考文献 47被引用 7

一句话总结

本文提出了一种用于最大均值差异（MMD）生成对抗网络（GAN）的新颖梯度正则化方法，该方法在真实数据分布上对判别器的梯度范数施加精确且解析的梯度约束，从而提升了训练稳定性和收敛性。该方法在 $160\times160$ CelebA 和 $64\times64$ ImageNet 上取得了当前最优的结果，优于现有的 MMD 和 WGAN 基础模型，且训练速度更快、更稳定。

ABSTRACT

We propose a principled method for gradient-based regularization of the critic of GAN-like models trained by adversarially optimizing the kernel of a Maximum Mean Discrepancy (MMD). We show that controlling the gradient of the critic is vital to having a sensible loss function, and devise a method to enforce exact, analytical gradient constraints at no additional cost compared to existing approximate techniques based on additive regularizers. The new loss function is provably continuous, and experiments show that it stabilizes and accelerates training, giving image generation models that outperform state-of-the art methods on $160 imes 160$ CelebA and $64 imes 64$ unconditional ImageNet.

研究动机与目标

• 解决由于判别器梯度失控导致的 MMD GAN 训练不稳定和优化信号差的问题。
• 开发一种原理清晰、可解析实施的梯度约束，避免使用近似或加法型正则化技术。
• 通过确保判别器在真实数据分布上表现良好，而不依赖于生成器当前批次的数据，从而提升生成器性能。
• 证明所提出的正则化方法可实现更快、更稳定的训练，并生成更高质量的图像。
• 展示该方法在高分辨率图像生成基准（如 $160\times160$ CelebA 和 $64\times64$ ImageNet）上优于现有的 MMD 和 WGAN 基础 GAN 模型。

提出的方法

• 提出一种基于 MMD 的新损失函数，其梯度惩罚仅约束在真实数据分布 $\mathbb{P}$ 上，而非生成器样本 $\mathbb{Q}_{\theta}$。
• 受半监督学习启发，推导出一种正则化项，对 $\mathbb{P}$ 密度较高的区域中梯度范数过大的情况进行惩罚，确保判别器在真实数据上趋于平坦。
• 通过拉格朗日乘子法精确且解析地施加梯度约束，避免了梯度惩罚项带来的近似误差。
• 通过修改后的判别器损失实现该约束，引入了基于密度加权的梯度范数项，且不增加额外计算成本。
• 结合谱归一化进一步稳定训练，尤其在深层网络中效果显著。
• 采用一种改进的缩放 MMD（SMMD）变体，将新梯度约束与可学习核函数结合，以增强模型的表征能力。

实验结果

研究问题

• RQ1 在真实数据分布上对判别器施加精确梯度约束，是否能提升 MMD GAN 的训练稳定性和性能？
• RQ2 一种不依赖于生成器当前批次数据的梯度正则化方法，是否能避免分布偏移并改善优化动力学？
• RQ3 与现有梯度惩罚方法（如 WGAN-GP）及谱归一化相比，该方法在收敛速度和样本质量方面表现如何？
• RQ4 该新正则化方法是否能在高分辨率图像生成基准（如 $160\times160$ CelebA 和 $64\times64$ ImageNet）上达到最先进水平？
• RQ5 该方法是否能保持损失函数的连续性，并在高维设置下避免模式崩溃？

主要发现

• 结合谱归一化的 SMMD GAN 在 CIFAR-10 上取得了 7.3 ± 0.1 的 Inception Score 和 25.0 ± 0.3 的 FID，优于所有基线模型，包括 SN-MMDGAN 和 Sobolev-GAN。
• 在 $160\times160$ CelebA 上，该方法实现了最先进水平的 FID 和 KID 分数，训练过程稳定，未观察到模式崩溃。
• 在 $64\times64$ ImageNet 上，该模型优于现有的 MMD 和 WGAN 基础方法，展现出更优的样本质量和训练稳定性。
• 该方法收敛速度优于标准 MMDGAN 和梯度约束 MMDGAN，KID 分数持续下降，未出现基线模型中常见的剧烈峰值。
• 谱归一化与新正则化方法结合（SN-SMMDGAN）在 CIFAR-10 上将 FID 降低至 25.0 ± 0.3，显著优于 SN-MMDGAN（FID 31.5 ± 0.2）和 SN-WGAN-GP（FID 154.3 ± 0.2）。
• 损失函数被严格证明为连续，且该方法在 MNIST 上训练 32,000 次生成器迭代后仍避免了不稳定性和秩崩溃现象，即使在高维设置下亦表现稳健。