[论文解读] Revisiting Stochastic Extragradient

Konstantin Mishchenko, Dmitry Kovalev+3 more|arXiv (Cornell University)|May 27, 2019

Model Reduction and Neural Networks参考文献 20被引用 17

一句话总结

该论文提出了一种新型随机外梯度方法，采用优化采样策略，通过更精确地近似隐式更新来稳定收敛过程，解决了先前方法（如Mirror-Prox）在双线性问题上存在的根本性发散问题。该方法在鞍点问题上实现了更快的收敛速度，并在生成对抗网络（GAN）训练中展现出潜力，尽管更高的迭代成本限制了其在数据效率方面的优势。

ABSTRACT

We fix a fundamental issue in the stochastic extragradient method by providing a new sampling strategy that is motivated by approximating implicit updates. Since the existing stochastic extragradient algorithm, called Mirror-Prox, of (Juditsky et al., 2011) diverges on a simple bilinear problem when the domain is not bounded, we prove guarantees for solving variational inequality that go beyond existing settings. Furthermore, we illustrate numerically that the proposed variant converges faster than many other methods on bilinear saddle-point problems. We also discuss how extragradient can be applied to training Generative Adversarial Networks (GANs) and how it compares to other methods. Our experiments on GANs demonstrate that the introduced approach may make the training faster in terms of data passes, while its higher iteration complexity makes the advantage smaller.

研究动机与目标

• 解决随机外梯度方法（Mirror-Prox）在无界域上双线性问题上的根本性发散问题。
• 开发一种新的采样策略，以更精确地近似隐式更新，从而提升稳定性和收敛性。
• 为随机外梯度方法在比现有工作更广泛设置下提供收敛性保证。
• 评估该方法在双线性鞍点问题和生成对抗网络（GAN）训练中的性能表现。
• 探索外梯度更新中动量变体的影响，以改善收敛动力学。

提出的方法

• 提出一种新型采样策略，改进随机外梯度中隐式更新的近似，避免先前方法在方差处理上的不足。
• 采用两阶段更新：首先使用随机梯度计算一个预测的外推点，然后通过第二步梯度更新迭代点。
• 采用动量变体，其中第一步使用正动量，第二步使用负动量以校正近似误差。
• 通过双线性问题中更新矩阵的谱半径分析来指导动量选择。
• 在标准和条件GAN设置下将该方法应用于GAN训练，与Adam和乐观镜像下降（Optimistic Mirror Descent）进行比较。
• 采用双梯度计算模型，将一次ExtraAdam迭代计为两次以与Adam实现公平比较。

实验结果

研究问题

• RQ1 原始Mirror-Prox方法为何在无界双线性问题上发散，以及如何解决这一问题？
• RQ2 针对随机外梯度的新型采样策略能否改善隐式更新的近似并确保收敛？
• RQ3 在GAN训练中，该方法与乐观镜像下降和Adam相比，在收敛速度和稳定性方面表现如何？
• RQ4 动量在稳定外梯度更新中起什么作用，正负动量应如何平衡？
• RQ5 该方法更高的迭代成本在多大程度上限制了其在数据高效训练中的实际优势？

主要发现

• 所提出的随机外梯度变体在双线性鞍点问题上收敛速度优于其他方法，展现出改进的实际性能。
• 通过采用更优的采样策略以更精确地近似隐式更新，该方法成功解决了Mirror-Prox在无界双线性问题上的发散问题。
• 数值实验表明，第一步使用正动量、第二步使用负动量可显著提升收敛速度和稳定性。
• 在GAN训练中，该方法在数据遍历次数上实现了更快的收敛，但更高的迭代成本降低了其相对于Adam的整体优势。
• 在双线性问题中，第二步最优负动量值在不同学习率下均稳定接近-0.3。
• 谱半径分析证实，第一步使用正动量可为标准外梯度方法（无动量）带来乘法级的速度提升。