[论文解读] Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets

Mingrui Liu, Youssef Mroueh+5 more|arXiv (Cornell University)|Dec 26, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用 21

一句话总结

本文提出了一种自适应变体——乐观自适应梯度（OAdagrad），用于生成对抗网络（GAN）训练中的非凸非凹极小极大问题。该方法建立了改进的自适应收敛复杂度 $O(\epsilon^{-\frac{2}{1-\alpha}})$，其中 $\alpha$ 衡量累积随机梯度的增长速率，解释了为何自适应方法在 GAN 中优于非自适应方法，原因在于梯度增长缓慢。

ABSTRACT

Adaptive gradient algorithms perform gradient-based updates using the history of gradients and are ubiquitous in training deep neural networks. While adaptive gradient methods theory is well understood for minimization problems, the underlying factors driving their empirical success in min-max problems such as GANs remain unclear. In this paper, we aim at bridging this gap from both theoretical and empirical perspectives. First, we analyze a variant of Optimistic Stochastic Gradient (OSG) proposed in~\citep{daskalakis2017training} for solving a class of non-convex non-concave min-max problem and establish $O(ε^{-4})$ complexity for finding $ε$-first-order stationary point, in which the algorithm only requires invoking one stochastic first-order oracle while enjoying state-of-the-art iteration complexity achieved by stochastic extragradient method by~\citep{iusem2017extragradient}. Then we propose an adaptive variant of OSG named Optimistic Adagrad (OAdagrad) and reveal an \emph{improved} adaptive complexity $O\left(ε^{-\frac{2}{1-α}} ight)$, where $α$ characterizes the growth rate of the cumulative stochastic gradient and $0\leq α\leq 1/2$. To the best of our knowledge, this is the first work for establishing adaptive complexity in non-convex non-concave min-max optimization. Empirically, our experiments show that indeed adaptive gradient algorithms outperform their non-adaptive counterparts in GAN training. Moreover, this observation can be explained by the slow growth rate of the cumulative stochastic gradient, as observed empirically.

研究动机与目标

• 为了理解为何在监督学习中表现优势有限的自适应梯度方法在 GAN 训练中仍优于非自适应方法。
• 为了弥合自适应梯度算法在非凸非凹极小极大优化问题中理论理解的空白。
• 为了建立自适应与乐观方法在随机极小极大设置下的收敛复杂度边界。
• 通过实验验证累积梯度增长缓慢与 GAN 中收敛性改善之间的关联。

提出的方法

• 为非凸非凹极小极大问题提出了一种乐观随机梯度（OSG）的自适应变体，命名为乐观自适应梯度（OAdagrad）。
• 分析了 OSG 的一种变体，并证明了其在寻找 $\epsilon$-一阶驻点时的 $O(\epsilon^{-4})$ 迭代复杂度。
• 推导出自适应收敛复杂度 $O(\epsilon^{-\frac{2}{1-\alpha}})$，其中 $\alpha \in [0, 1/2]$ 用于表征累积随机梯度的增长速率。
• 使用随机一阶预言机，并通过自适应学习率引入类似海森矩阵的预条件处理。
• 通过实证测量 GAN 训练中累积随机梯度的增长速率，以验证理论预测。
• 将理论分析应用于 CIFAR10 上的 WGAN-GP 框架，比较 OAdagrad、OSG 和交替 Adam 在不同小批量大小下的表现。

实验结果

研究问题

• RQ1 为何自适应梯度方法（如 Adam）在 GAN 训练中优于非自适应 SGD，尽管其在监督学习中表现较差？
• RQ2 自适应乐观方法在非凸非凹极小极大问题中的理论收敛复杂度是什么？
• RQ3 累积随机梯度的增长速率如何影响 GAN 中自适应方法的收敛性？
• RQ4 自适应方法在 GAN 中的实证成功能否通过收敛复杂度的理论边界来解释？

主要发现

• 所提出的 OAdagrad 实现了自适应收敛复杂度 $O(\epsilon^{-\frac{2}{1-\alpha}})$，优于非自适应 OSG 的 $O(\epsilon^{-4})$ 复杂度。
• OAdagrad 的收敛速率取决于 $\alpha$，即累积随机梯度的增长速率，增长越慢，收敛越快。
• 实证结果表明，自适应梯度方法（如 OAdagrad）的收敛速度优于 OSG 和交替 Adam，尤其在大批次设置下表现更优。
• GAN 训练中累积随机梯度的增长速度较慢，与理论预测一致，即此类行为可提升 OAdagrad 的收敛性能。
• 当小批量大小增加时，OAdagrad 在性能上优于交替 Adam，表明自适应学习率在大批次训练中具有优势。
• 本研究首次为非凸非凹极小极大优化中的自适应梯度方法提供了理论收敛复杂度分析。