[论文解读] Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization

Guodong Zhang, Yuanhao Wang+2 more|arXiv (Cornell University)|Feb 18, 2021

Stochastic Gradient Optimization Techniques参考文献 55被引用 6

一句话总结

该论文证明，交替梯度下降-上升（Alt-GDA）在强凸-强凹（SCSC）极小极大问题中实现了近似最优的局部收敛速率 𝒪(κ)，显著优于同步 GDA（Sim-GDA）的 𝒪(κ²) 收敛速率。作者证明 Alt-GDA 达到了与额外梯度法和乐观 GDA 相同的最佳已知速率，并进一步通过积分二次约束（IQC）方法，为具有双线性耦合的 SCSC 问题子类建立了全局线性收敛性。

ABSTRACT

Smooth minimax games often proceed by simultaneous or alternating gradient updates. Although algorithms with alternating updates are commonly used in practice, the majority of existing theoretical analyses focus on simultaneous algorithms for convenience of analysis. In this paper, we study alternating gradient descent-ascent (Alt-GDA) in minimax games and show that Alt-GDA is superior to its simultaneous counterpart~(Sim-GDA) in many settings. We prove that Alt-GDA achieves a near-optimal local convergence rate for strongly convex-strongly concave (SCSC) problems while Sim-GDA converges at a much slower rate. To our knowledge, this is the \emph{first} result of any setting showing that Alt-GDA converges faster than Sim-GDA by more than a constant. We further adapt the theory of integral quadratic constraints (IQC) and show that Alt-GDA attains the same rate \emph{globally} for a subclass of SCSC minimax problems. Empirically, we demonstrate that alternating updates speed up GAN training significantly and the use of optimism only helps for simultaneous algorithms.

研究动机与目标

• 通过研究在实践中广泛使用但理论分析不足的交替 GDA（Alt-GDA），弥合理论与实践之间的理论差距。
• 在收敛速度和速率方面，比较 Alt-GDA 与同步 GDA（Sim-GDA），特别是在 SCSC 极小极大问题中的表现。
• 建立 Alt-GDA 在 SCSC 问题中实现近似最优局部收敛速率 𝒪(κ) 的理论结果，该速率与额外梯度法和乐观 GDA 的最佳已知速率一致。
• 通过积分二次约束（IQC）和李雅普诺夫函数搜索，将分析扩展至具有双线性耦合的 SCSC 问题子类的全局收敛性。
• 在二次极小极大博弈和 GAN 训练中对理论进行经验验证，展示 Alt-GDA 相较于 Sim-GDA 的优越性，以及在交替方案中乐观性带来的收益有限。

提出的方法

• 使用局部线性收敛分析，对 SCSC 极小极大问题中的 Alt-GDA 进行理论分析。
• 利用李雅普诺夫函数技术，证明 Alt-GDA 在条件数 κ 下实现近似最优的局部收敛速率 𝒪(κ)。
• 应用积分二次约束（IQC）理论，推导出具有双线性耦合的 SCSC 问题子类的全局收敛速率。
• 通过线性矩阵不等式（LMI）方法进行李雅普诺夫函数搜索，以在 IQC 框架下验证稳定性和收敛性。
• 在二次极小极大博弈和 GAN 上进行经验评估，使用 FID 分数和训练动态，比较 Alt-GDA、Sim-GDA 及其乐观变体。
• 在 CIFAR-10 和 SVHN 上实现 SGD、AMSGrad 及其乐观版本的同步与交替变体，并进行超参数调优。

实验结果

研究问题

• RQ1 在 SCSC 极小极大问题中，交替 GDA（Alt-GDA）是否比同步 GDA（Sim-GDA）收敛更快？
• RQ2 Alt-GDA 是否能在 SCSC 问题中实现近似最优的局部收敛速率 𝒪(κ)，与额外梯度法和乐观 GDA 的最佳已知速率一致？
• RQ3 当仅在 y 上具有强凹性而 x 上不具有强凸性时，Alt-GDA 是否仍保持线性收敛速率？
• RQ4 IQC 框架是否可用于证明具有双线性耦合的 SCSC 问题子类中 Alt-GDA 的全局收敛性？
• RQ5 在交替算法中，乐观性是否显著提升性能，还是仅对同步方案有益？

主要发现

• Alt-GDA 在 SCSC 极小极大问题中实现了 𝒪(κ) 的局部收敛速率，相比 Sim-GDA 的 𝒪(κ²) 速率具有二次优势，且与额外梯度法和乐观 GDA 的最佳已知速率一致。
• Alt-GDA 的 𝒪(κ) 速率是近似最优的，因为它与 Azizian 等人（2020b）建立的粗略下界（推论 1）一致。
• 对于仅在 y 上具有强凹性且耦合矩阵非奇异的问题，Sim-GDA 和 Alt-GDA 均实现线性收敛，但 Alt-GDA 收敛更快。
• 通过 IQC 理论，作者证明 Alt-GDA 在具有双线性耦合的 SCSC 问题子类中实现了相同的全局 𝒪(κ) 收敛速率，该结果通过自动李雅普诺夫函数搜索获得。
• GAN 训练的经验结果表明，交替更新显著加快了收敛速度，而乐观性在交替方案中几乎无法带来额外收益。
• 在 CIFAR-10 和 SVHN 上，交替的 SGD 和 AMSGrad 显著优于其同步版本，且在交替设置中使用乐观性并未提升性能。