[论文解读] Stabilizing Adversarial Nets With Prediction Methods

Abhay Kumar Yadav, Sohil Shah+3 more|arXiv (Cornell University)|May 20, 2017

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出了一种基于预测的稳定化方法，用于对抗性神经网络，通过在训练过程中预测生成器未来的参数更新来实现。该方法在更新判别器之前预测下一个生成器权重，从而稳定训练过程，支持更大的学习率，并防止网络坍塌——在合成数据集和真实世界数据集上，该方法在模式覆盖度和Inception分数方面均优于标准GAN和未展开GAN。

ABSTRACT

Adversarial neural networks solve many important problems in data science, but are notoriously difficult to train. These difficulties come from the fact that optimal weights for adversarial nets correspond to saddle points, and not minimizers, of the loss function. The alternating stochastic gradient methods typically used for such problems do not reliably converge to saddle points, and when convergence does happen it is often highly sensitive to learning rates. We propose a simple modification of stochastic gradient descent that stabilizes adversarial networks. We show, both in theory and practice, that the proposed method reliably converges to saddle points, and is stable with a wider range of training parameters than a non-prediction method. This makes adversarial networks less likely to "collapse," and enables faster training with larger learning rates.

研究动机与目标

• 为解决对抗性网络在训练过程中由于鞍点优化导致的不稳定性和频繁坍塌问题。
• 通过稳定交替梯度下降/上升过程，提高对抗性训练的收敛可靠性。
• 在不破坏损失景观的前提下，实现更快的训练速度和更大的学习率。
• 降低对超参数调优的敏感性，尤其是学习率的选择。
• 提升生成模型中的模式覆盖度，特别是在小批量和高模式场景下。

提出的方法

• 引入一个预测步骤，通过公式 $\bar{u}^{k+1} = u^{k+1} + (u^{k+1} - u^k)$ 预估未来的生成器权重 $\bar{u}^{k+1}$，假设更新方向上的动量保持恒定。
• 通过使用预测的生成器权重 $\bar{u}^{k+1}$ 而非当前的 $u^{k+1}$ 来计算判别器更新，从而修改标准的交替SGD。
• 将预测步骤整合进Adam优化器框架中，保留动量和自适应学习率。
• 保持标准GAN目标 $\min_u \max_v \mathcal{L}(u,v)$，但通过在生成器轨迹中引入预测性前瞻来稳定训练。
• 该方法具有通用性，可仅通过少量代码修改集成到现有训练流程中。
• 理论分析表明，在温和假设下，该方法对一类鞍点问题具有渐近稳定性。

实验结果

研究问题

• RQ1 简单的预测步骤是否能改善对抗性网络训练的稳定性？
• RQ2 预测未来生成器权重是否能降低对学习率选择的敏感性？
• RQ3 所提出的方法是否能防止GAN中的模式坍塌，尤其是在小批量情况下？
• RQ4 在模式覆盖度和Inception分数方面，该预测方法与未展开GAN和标准GAN相比表现如何？
• RQ5 该预测方法是否能实现使用更大学习率时的更快收敛？

主要发现

• 该预测方法成功稳定了GAN的训练过程，即使在大学习率下也能防止损失突然坍塌。
• 在一个包含8个高斯分布的2D玩具数据集上，该预测方法完整恢复了所有模式，而标准GAN未能覆盖全部模式。
• 在一个100模式的环形高斯混合模型上，该预测方法在小批量（64）条件下实现了优于标准GAN和未展开GAN的模式覆盖度。
• 在CIFAR-10数据集上，该预测方法在多个学习率（$0.0002$ 至 $0.0008$）下均保持了稳定的训练和更高的Inception分数，优于标准GAN和未展开GAN。
• 在128×128分辨率的ImageNet上，该预测方法在整个训练周期内实现了更高且更稳定的Inception分数，优于基线ACGAN。
• 该方法实现了在 $\beta_1 = 0.5$ 和高达 $0.0008$ 的学习率下的稳定训练，而这些参数通常会导致标准GAN失败。