[论文解读] Towards a Better Global Loss Landscape of GANs

Ruoyu Sun, Tiantian Fang+1 more|arXiv (Cornell University)|Nov 10, 2020

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

本文分析了 GAN 的全局损失景观，证明可分离 GAN（包括 JS-GAN）存在指数级数量的次优局部最小值，这些最小值对应于模式崩溃。相比之下，本文展示了相对性配对 GAN（RpGAN）消除了这些不良盆地，从而形成更优的优化景观，通过窄网络在合成数据和真实图像生成实验中的实证验证得以证实。

ABSTRACT

Understanding of GAN training is still very limited. One major challenge is its non-convex-non-concave min-max objective, which may lead to sub-optimal local minima. In this work, we perform a global landscape analysis of the empirical loss of GANs. We prove that a class of separable-GAN, including the original JS-GAN, has exponentially many bad basins which are perceived as mode-collapse. We also study the relativistic pairing GAN (RpGAN) loss which couples the generated samples and the true samples. We prove that RpGAN has no bad basins. Experiments on synthetic data show that the predicted bad basin can indeed appear in training. We also perform experiments to support our theory that RpGAN has a better landscape than separable-GAN. For instance, we empirically show that RpGAN performs better than separable-GAN with relatively narrow neural nets. The code is available at https://github.com/AilsaF/RS-GAN.

研究动机与目标

• 理解 GAN 的全局优化景观，特别是模式崩溃的原因。
• 分析原始 JS-GAN 及相关可分离 GAN 是否在其损失景观中存在次优局部最小值。
• 研究相对性配对 GAN（RpGAN）是否能消除这些有问题的盆地。
• 通过在合成数据和真实数据集上的实证实验验证理论发现。
• 确定 RpGAN 改进的景观是否转化为更好的性能，尤其是在窄网络中的表现。

提出的方法

• 对可分离 GAN（包括 JS-GAN、铰链损失和最小二乘 GAN）的实证损失景观进行理论分析。
• 证明可分离 GAN 在其损失景观中存在指数级数量的严格局部最小值，每个最小值均对应一种模式崩溃情形。
• 对 RpGAN 进行形式化分析，表明其由于相对性配对机制将真实样本与生成样本配对，因而不存在不良盆地。
• 设计合成实验以观察训练动态中预测的不良盆地。
• 在 CIFAR-10、STL-10 和 LSUN 数据集上，使用不同宽度（通道缩放）的 CNN 和 ResNet 架构进行实证评估。
• 在相同训练设置下比较 RpGAN 与可分离 GAN，重点关注窄网络下的泛化能力和训练稳定性。

实验结果

研究问题

• RQ1 原始 JS-GAN 是否具有全局行为良好的损失景观，还是存在指数级数量的次优局部最小值？
• RQ2 RpGAN 中的相对性配对机制是否能消除这些不良盆地并改善全局优化景观？
• RQ3 关于 RpGAN 中不存在不良盆地的理论预测是否在实际训练行为中得以体现？
• RQ4 RpGAN 是否在训练稳定性和样本质量方面优于可分离 GAN，尤其是在使用窄神经网络时？
• RQ5 RpGAN 改进的景观是否是其生成样本具有更好泛化能力和多样性的原因？

主要发现

• 可分离 GAN（包括 JS-GAN）在其损失景观中存在指数级数量的严格局部最小值，每个最小值均对应一种模式崩溃情形。
• RpGAN 不存在不良盆地，理论分析已证明，这是由于其相对性配对机制将真实样本与生成样本配对。
• 合成实验证实，预测的不良盆地确实在可分离 GAN 的训练过程中出现。
• 实证结果表明，RpGAN 在 CIFAR-10 和 STL-10 上优于可分离 GAN，尤其在窄网络中，支持了其拥有更优优化景观的理论。
• RpGAN 改进的景观带来了更稳定的训练过程和更高的样本多样性，即使在模型容量有限的情况下亦是如此。
• 代码和实验设置已公开，支持可复现性，并可进一步将 RpGAN 与标准 GAN 进行基准对比。