[论文解读] On the Suboptimality of Negative Momentum for Minimax Optimization

Guodong Zhang, Yuanhao Wang|arXiv (Cornell University)|Aug 17, 2020

Advanced Bandit Algorithms Research参考文献 49被引用 4

一句话总结

本文通过变分不等式框架将负动量与切比雪夫多项式关联，分析了在光滑、强凸-强凹极小极大优化中负动量的作用。研究表明，尽管负动量可实现局部收敛复杂度 𝒪(κ¹.⁵)，但其性能仍劣于额外梯度法（Extra-Gradient）和乐观梯度下降上升法（Optimistic Gradient Descent Ascent）的 𝒪(κ) 复杂度，首次在该设置下建立了负动量的显式收敛速率。

ABSTRACT

Smooth game optimization has recently attracted great interest in machine learning as it generalizes the single-objective optimization paradigm. However, game dynamics is more complex due to the interaction between different players and is therefore fundamentally different from minimization, posing new challenges for algorithm design. Notably, it has been shown that negative momentum is preferred due to its ability to reduce oscillation in game dynamics. Nevertheless, the convergence rate of negative momentum was only established in simple bilinear games. In this paper, we extend the analysis to smooth and strongly-convex strongly-concave minimax games by taking the variational inequality formulation. By connecting momentum method with Chebyshev polynomials, we show that negative momentum accelerates convergence of game dynamics locally, though with a suboptimal rate. To the best of our knowledge, this is the \emph{first work} that provides an explicit convergence rate for negative momentum in this setting.

研究动机与目标

• 分析负动量在非双线性情形下，于光滑、强凸-强凹极小极大问题中的收敛行为。
• 确定在该设置下，负动量是否能实现最优收敛速率，尽管其在双线性博弈中表现优异。
• 正式建立负动量动力学与多项式逼近及切比雪夫多项式之间的联系，以支持理论分析。
• 建立负动量的局部收敛速率，并与 EG 和 OGDA 的已知最优速率进行比较。
• 阐明负动量与 OGDA 之间的根本差异，尽管二者在双线性博弈中收敛速率相近。

提出的方法

• 利用博弈梯度场的雅可比矩阵，将极小极大问题形式化为变分不等式。
• 将一阶方法建模为离散动力系统，并在线性化平衡点附近进行局部分析。
• 建立动量方法与多项式逼近之间的对应关系，特别地，将 Polyak 动量与切比雪夫多项式关联。
• 通过分析切比雪夫多项式的极值性质，推导出最优动量参数与渐近收敛速率。
• 利用线性化系统的谱分析，以条件数 κ 表示收敛速率的上界。
• 将推导出的负动量收敛速率与一阶方法的已知下界 Ω(κ) 以及 EG 和 OGDA 的 𝒪(κ) 速率进行比较。

实验结果

研究问题

• RQ1 负动量在光滑、强凸-强凹极小极大博弈中是否能实现最优收敛？
• RQ2 该设置下负动量的显式局部收敛速率是多少？
• RQ3 负动量的收敛速率与额外梯度法（Extra-Gradient）和乐观梯度下降上升法（Optimistic Gradient Descent Ascent）相比如何？
• RQ4 为何负动量在双线性博弈中表现良好，但在更一般设置中仍非最优？
• RQ5 负动量的动力学能否通过多项式逼近与切比雪夫多项式进行形式化分析？

主要发现

• 在光滑、强凸-强凹极小极大博弈中，负动量实现了 𝒪(κ¹.⁵) 的局部收敛速率。
• 该速率劣于一阶方法的 Ω(κ) 下界，而 EG 和 OGDA 正好达到此下界。
• 该分析首次在该一般设置下建立了负动量的显式收敛速率，突破了以往仅限于双线性博弈的研究局限。
• 负动量与切比雪夫多项式之间的联系，使得收敛速率的精确推导与最优参数调优成为可能。
• 尽管在双线性博弈中与 OGDA 和 EG 的收敛速率相同，负动量在更广泛的强凸-强凹类别中仍无法达到最优速率。
• 数值模拟验证了负动量优于 GDA 但劣于 OGDA，与理论上的速率差距一致。