[论文解读] On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems

Tianyi Lin, Chi Jin+1 more|arXiv (Cornell University)|Jun 2, 2019

Sparse and Compressive Sensing Techniques参考文献 53被引用 118

一句话总结

论文分析两时尺度的梯度下降-上升(GDA)和随机GDA(SGDA)用于非凸-凹极小极大问题，证明非渐近收敛到Phi(x)=max_y f(x,y)的epsilon-驻点，并给出在非凸-强凹与非凸-凹设定下的显式梯度和随机梯度复杂度。

ABSTRACT

We consider nonconvex-concave minimax problems, $\min_{\mathbf{x}} \max_{\mathbf{y} \in \mathcal{Y}} f(\mathbf{x}, \mathbf{y})$, where $f$ is nonconvex in $\mathbf{x}$ but concave in $\mathbf{y}$ and $\mathcal{Y}$ is a convex and bounded set. One of the most popular algorithms for solving this problem is the celebrated gradient descent ascent (GDA) algorithm, which has been widely used in machine learning, control theory and economics. Despite the extensive convergence results for the convex-concave setting, GDA with equal stepsize can converge to limit cycles or even diverge in a general setting. In this paper, we present the complexity results on two-time-scale GDA for solving nonconvex-concave minimax problems, showing that the algorithm can find a stationary point of the function $Φ(\cdot) := \max_{\mathbf{y} \in \mathcal{Y}} f(\cdot, \mathbf{y})$ efficiently. To the best our knowledge, this is the first nonasymptotic analysis for two-time-scale GDA in this setting, shedding light on its superior practical performance in training generative adversarial networks (GANs) and other real applications.

研究动机与目标

• 动机并研究形式为 min_x max_y f(x,y) 的非凸-凹极小极大问题，其中 f 在 x 上非凸，在 y 上凹凸。
• 给出两时尺度GDA和SGDA的非渐近收距保证。
• 在不同问题结构下，用梯度评估次数和随机梯度评估次数来表征算法复杂度。
• 为GAN和鲁棒学习等实际场景提供性能洞见。

提出的方法

• 研究两时尺度GDA，其中 eta_x << eta_y，以在非凸-(强)凹问题中稳定收敛。
• 证明该算法在非凸-强凹设定下找到 Phi(x)=max_y f(x,y) 的 epsilon-驻点，梯度复杂度为显式 O(kappa^2 epsilon^-2)。
• 证明在同一设定下，SGDA 的梯度和随机梯度复杂度为 O(kappa^3 epsilon^-4)，批大小 M=Theta(max{1,kappa sigma^2 epsilon^-2})。
• 在非凸-凹设定中，方法达到 O(epsilon^-6) 梯度评估和 O(epsilon^-8) 随机梯度评估，采用 Moreau 包络基的驻点概念。
• 讨论分析如何处理缓慢变化的凹目标，并将 Moreau 包络驻点与子梯度概念联系起来。

实验结果

研究问题

• RQ1 两时尺度的GDA/SGDA 是否能在非凸-凹极小极大问题中被证明收敛到 epsilon-驻点？
• RQ2 在非凸-强凹和非凸-凹设定下，两时尺度GDA/SGDA 的非渐近梯度和随机梯度复杂度是多少？
• RQ3 步长选择（eta_x、eta_y）及其比值如何影响收敛性和复杂度？
• RQ4 在此背景下，基于 Moreau 包络的驻点概念如何与传统的基于子梯度的驻点相关？

主要发现

• 在非凸-强凹问题中，两时尺度GDA 达到 O(kappa^2 epsilon^-2) 梯度评估以达到 Phi 的 epsilon-驻点，SGDA 达到 O(kappa^3 epsilon^-4) 随机梯度评估。
• 在非凸-凹问题中，两时尺度GDA 需要 O(epsilon^-6) 梯度评估，SGDA 需要 O(epsilon^-8) 随机梯度评估以达到相应的驻点概念。
• 步长比 eta_y/eta_x 必须为 Theta(kappa^2)，这反映了极小极大问题的非对称性并确保稳定性。
• 分析引入一种新颖的技术，用于分析目标缓慢变化的凹优化，从而实现单循环 GDA/SGDA 的非渐近保证。
• 结果适用于确定性（梯度）和随机（SGDA）设置，且对问题条件数和可行 y 集的直径有明确依赖。