[论文解读] Spectral Regularization for Combating Mode Collapse in GANs

Kanglin Liu, Wenming Tang+2 more|arXiv (Cornell University)|Aug 29, 2019

Digital Media Forensic Detection参考文献 15被引用 13

一句话总结

本文提出Spectral Regularization (SR-GANs)，一种通过针对判别器权重矩阵的奇异值坍塌（spectral collapse）来解决生成对抗网络（GANs）中模式崩溃的新方法。通过正则化手段保持奇异值分布的平衡，SR-GANs在训练中实现稳定，优于谱归一化（SN-GANs），并在多种架构与数据集（包括大规模模型的ImageNet）上一致地防止了模式崩溃。

ABSTRACT

Despite excellent progress in recent years, mode collapse remains a major unsolved problem in generative adversarial networks (GANs).In this paper, we present spectral regularization for GANs (SR-GANs), a new and robust method for combating the mode collapse problem in GANs. Theoretical analysis shows that the optimal solution to the discriminator has a strong relationship to the spectral distributions of the weight matrix.Therefore, we monitor the spectral distribution in the discriminator of spectral normalized GANs (SN-GANs), and discover a phenomenon which we refer to as spectral collapse, where a large number of singular values of the weight matrices drop dramatically when mode collapse occurs. We show that there are strong evidence linking mode collapse to spectral collapse; and based on this link, we set out to tackle spectral collapse as a surrogate of mode collapse. We have developed a spectral regularization method where we compensate the spectral distributions of the weight matrices to prevent them from collapsing, which in turn successfully prevents mode collapse in GANs. We provide theoretical explanations for why SR-GANs are more stable and can provide better performances than SN-GANs. We also present extensive experimental results and analysis to show that SR-GANs not only always outperform SN-GANs but also always succeed in combating mode collapse where SN-GANs fail. The code is available at https://github.com/max-liu-112/SRGANs-Spectral-Regularization-GANs-.

研究动机与目标

• 为解决BigGAN等最先进模型中SR-GANs和SN-GANs存在的持续性模式崩溃问题。
• 通过分析判别器权重矩阵的谱特性，探究模式崩溃的潜在成因。
• 开发一种稳健的正则化方法，通过稳定判别器权重的谱分布来防止模式崩溃。
• 证明谱坍塌是模式崩溃的关键前兆，并可作为早期检测与预防的代理信号。
• 表明谱正则化在谱归一化基础上，进一步提升了训练稳定性和生成性能。

提出的方法

• 该方法引入谱正则化，通过监控并补偿判别器权重矩阵的谱分布，防止奇异值坍塌。
• 在谱归一化基础上扩展，增加正则化项，以在所有层中维持奇异值的均衡分布。
• 正则化强制大量奇异值保持接近1，这在理论上与最优Lipschitz约束相关。
• 该方法基于理论分析推导得出：当权重矩阵的所有奇异值恰好为1时，Lipschitz约束的上确界才被实现。
• 该方法在训练过程中应用，且与现有GAN架构兼容，包括BigGANs和SN-GANs所用架构。
• 采用梯度累积以降低计算成本，尤其适用于大规模ImageNet训练。

实验结果

研究问题

• RQ1 判别器权重矩阵中的谱坍塌与GAN中模式崩溃的发生是否存在强烈且一致的相关性？
• RQ2 防止谱坍塌是否可作为防止GAN训练中模式崩溃的有效代理方法？
• RQ3 在不同数据集和模型规模下，谱正则化与谱归一化在稳定性与性能上的表现如何比较？
• RQ4 谱正则化是否在大规模设置下，相比SN-GANs提升了Inception Score和FID指标？
• RQ5 在高小批量或复杂数据分布下，谱正则化是否能像SN-GANs失败时一样，持续防止模式崩溃？

主要发现

• 谱坍塌——定义为判别器权重矩阵中大奇异值数量的显著下降——在所有评估的模型与数据集上，均与SN-GANs中的模式崩溃同时发生。
• 理论分析证实，仅当权重矩阵的所有奇异值恰好为1时，才能实现最优1-Lipschitz约束，为谱正则化提供了理论基础。
• SR-GANs在Inception Score和FID上始终优于SN-GANs，且在CIFAR-10、STL-10和ImageNet上均观察到性能提升。
• 在ImageNet的$E_{2048-64}$设置下，SR-GANs在100k次迭代中持续实现性能提升，而SN-GANs自40k次迭代起即出现模式崩溃。
• 在所有测试配置中，SR-GANs均成功防止了SN-GANs失败时的模式崩溃，展现出在多样化训练设置下的鲁棒性。
• 当谱归一化本身失效时，谱正则化方法依然有效，尤其在高小批量或复杂数据分布下。