[论文解读] Taming GANs with Lookahead-Minmax

Tatjana Chavdarova, Matteo Pagliardini+3 more|arXiv (Cornell University)|Jun 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 63被引用 4

一句话总结

本文提出 Lookahead–minmax，一种新颖的优化方法，通过将 Lookahead 算法扩展至 minmax 问题，用于训练生成对抗网络（GANs）。通过在联合参数空间中引入回溯步骤，该方法有效缓解了旋转动力学和高方差梯度，实现了计算成本显著降低的稳定训练。该方法在 CIFAR-10 上实现了 12.19 的 SOTA FID 分数，参数量仅为 BigGAN 的 1/30，小批量大小仅为其 1/16，且无需使用类别标签或大规模计算资源，优于以往方法。

ABSTRACT

Generative Adversarial Networks are notoriously challenging to train. The underlying minmax optimization is highly susceptible to the variance of the stochastic gradient and the rotational component of the associated game vector field. To tackle these challenges, we propose the Lookahead algorithm for minmax optimization, originally developed for single objective minimization only. The backtracking step of our Lookahead-minmax naturally handles the rotational game dynamics, a property which was identified to be key for enabling gradient ascent descent methods to converge on challenging examples often analyzed in the literature. Moreover, it implicitly handles high variance without using large mini-batches, known to be essential for reaching state of the art performance. Experimental results on MNIST, SVHN, CIFAR-10, and ImageNet demonstrate a clear advantage of combining Lookahead-minmax with Adam or extragradient, in terms of performance and improved stability, for negligible memory and computational cost. Using 30-fold fewer parameters and 16-fold smaller minibatches we outperform the reported performance of the class-dependent BigGAN on CIFAR-10 by obtaining FID of 12.19 without using the class labels, bringing state-of-the-art GAN training within reach of common computational resources.

研究动机与目标

• 解决 GAN 训练中由博弈向量场中的旋转分量引起的不稳定性与高方差问题。
• 将原本用于单目标最小化问题的 Lookahead 算法扩展至 GAN 中的 minmax 优化。
• 在降低计算与内存开销的前提下，实现高性能 GAN 训练，使在标准硬件上获得 SOTA 结果成为可能。
• 通过实证验证，Lookahead–minmax 能够有效抑制旋转动力学，并在全批量和随机设置下提升收敛性。
• 证明该方法在更小的模型和更小的小批量下，相比现有 SOTA 方法，能够实现更优的 FID 和 Inception Score。

提出的方法

• 提出 Lookahead–minmax 作为一种两阶段优化方法：内层循环使用基础优化器（如 Adam 或 extragradient）更新快速权重，随后在联合参数空间中执行回溯步骤以更新慢速权重。
• 引入前瞻步骤，通过观察快速权重更新序列来稳定训练并抑制博弈中的旋转动力学。
• 利用双线性博弈模型从理论上证明该方法在标准 GDA 失败时仍能收敛，尤其在向量场的雅可比矩阵中存在反对称（旋转）分量时表现更优。
• 对慢速权重使用指数移动平均（EMA），以提升模型推理时的泛化能力与 FID 表现。
• 将该方法应用于 DCGAN 和 ResNet 架构，在 MNIST、SVHN、CIFAR-10 和 ImageNet 上采用标准 GAN 训练协议进行实验。
• 提出对价值函数雅可比矩阵的新型分析，表明 Lookahead–minmax 在收敛时，其对应的博弈向量场中旋转分量显著减少。

实验结果

研究问题

• RQ1 原本专为单目标最小化设计的 Lookahead 算法，能否成功扩展至 GAN 中的 minmax 优化？
• RQ2 Lookahead–minmax 中的回溯机制是否能有效抑制博弈向量场中的旋转动力学？这类动力学被公认是导致 GAN 训练发散的原因。
• RQ3 与 BigGAN 相比，Lookahead–minmax 是否能在显著减少模型规模和小批量大小的前提下，在 CIFAR-10 上实现 SOTA 的 FID 和 Inception Score？
• RQ4 Lookahead–minmax 是否能在全批量和随机设置下均提升训练稳定性与收敛性，尤其是在结合 Adam 或 extragradient 优化器时？
• RQ5 性能提升是否如理论分析所建议的那样，源于方差降低与旋转分量的抑制？

主要发现

• 在 CIFAR-10 上，使用 AltGAN 和 Adam 的 Lookahead–minmax 方法在应用指数移动平均后，FID 达到 13.98，显著优于基线模型 AltGAN（FID 21.37），并可匹配或超越更复杂的模型。
• 该方法在不使用类别标签的前提下，于 CIFAR-10 上实现了 SOTA 的 FID 12.19，仅需 BigGAN 参数量的 1/30 和小批量大小的 1/16。
• 在 SVHN 上，LA–ExtraGrad 使用 32×32 的 ImageNet 模型实现了 FID 2.94，展示了在资源极少条件下的强大性能，尤其在具有挑战性的数据集上表现优异。
• 在 MNIST 上，LA–AltGAN 实现了近乎完美的 FID 0.053（基线为 0.094），表明其具备极佳的稳定性和收敛性。
• 雅可比矩阵分析证实，在收敛时，Lookahead–minmax 显著降低了博弈向量场的反对称（旋转）分量，支持了理论分析的合理性。
• 实证结果表明，所有数据集和模型上均呈现一致性能提升，每次前瞻步骤后 FID 均下降，证实了该方法在稳定训练方面的有效性。