[论文解读] SAPD+: An Accelerated Stochastic Method for Nonconvex-Concave Minimax Problems

Xuan Zhang, Necdet Serhat Aybat+1 more|arXiv (Cornell University)|May 30, 2022

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出SAPD+，一种用于非凸-凹极小化问题的加速随机原始-对偶方法，其目标函数为弱凸（WC）形式。该方法在无需定义域紧致性假设的前提下，实现了弱凸-强凹（WCSC）设置下的最优oracle复杂度$\mathcal{O}(L\kappa_y\epsilon^{-4})$，以及弱凸-仅凹（WCMC）设置下的$\mathcal{O}(L^3\epsilon^{-6})$复杂度，并进一步推广至方差缩减变体，在WCSC情形下实现更优的复杂度$\mathcal{O}(L\kappa_y^2\epsilon^{-3})$。

ABSTRACT

We propose a new stochastic method SAPD+ for solving nonconvex-concave minimax problems of the form $\min\max\mathcal{L}(x,y)=f(x)+Φ(x,y)-g(y)$, where $f,g$ are closed convex and $Φ(x,y)$ is a smooth function that is weakly convex in $x$, (strongly) concave in $y$. Let $δ^2$ denote the variance bound for the unbiased stochastic oracle used within SAPD+ to estimate $ ablaΦ$. When $δ>0$, for both strongly concave and merely concave settings, SAPD+ achieves the best known oracle complexities: $\mathcal{O}\Big(κ_y\max\Big\{1,\frac{δ^2}{ε^2}\Big\}\frac{L\mathcal{G}_0}{ε^{2}}\Big)$ for the strongly concave case without assuming compactness of the problem domain, and $\mathcal{O}\Big(\frac{L^3\mathcal{D}_y^2\mathcal{G}_0}{ε^{4}}\Big(1+\frac{δ^2}{ε^2}\Big)\Big)$ for the merely concave case, where $κ_y\geq 1$ is the condition number, $L$ is the Lipschitz constant of $ abla Φ$, $\mathcal{G}_0$ is the primal-dual gap of the initial point, and $\mathcal{D}_y=\sup\{\|y\|:\ y\in\mathbf{dom} g\}$. We also propose SAPD+ with variance reduction, which enjoys $\mathcal{O}\Big(\max\Big\{κ_y,\sqrt{\fracδε}\Big\}\cdot (1+κ_y\fracδε)\frac{L\mathcal{G}_0}{ε^2}\Big)$ oracle complexity for weakly convex-strongly concave setting --this is the best known upper complexity bound in the literature for this setting and our paper establishes it for the first time. We demonstrate the efficiency of SAPD+ on a distributionally robust learning problem with a nonconvex regularizer and also on a multi-class classification problem in deep learning.

研究动机与目标

• 为非凸-凹极小化问题设计一种基于弱凸目标函数的随机一阶方法，其中目标函数$\mathcal{L}(x,y) = f(x) + \Phi(x,y) - g(y)$在$x$上为弱凸，在$y$上为（强）凹。
• 在弱凸-强凹（WCSC）与弱凸-仅凹（WCMC）设置下，实现最优oracle复杂度，且无需假设定义域的紧致性。
• 通过引入方差缩减技术，将方法扩展至WCSC情形，以进一步提升收敛速度。
• 在具有非凸正则化的分布鲁棒学习与多分类深度学习问题上，验证方法的实际效率。

提出的方法

• 提出SAPD+，一种基于加速梯度方法与动量项、自适应步长的随机原始-对偶算法，专为非凸-凹鞍点问题设计。
• 提出一种新颖的分析框架，利用Moreau包络与广义梯度映射，建立对原始函数梯度范数与Moreau包络收敛性的理论保证。
• 采用小批量随机oracle估计梯度，通过调节批量大小与步长以平衡方差与收敛速率。
• 通过精细化分析迭代序列的期望下降量，推导出oracle复杂度边界，充分利用条件数$\kappa_y$与Lipschitz常数$L$。
• 在SAPD+的一个变体中应用方差缩减技术，在WCSC情形下实现更优的复杂度$\mathcal{O}(L\kappa_y^2\epsilon^{-3})$。
• 采用Moreau包络平滑技术处理非光滑分量，并在弱凸条件下建立GNME与GNP度量之间的等价性。

实验结果

研究问题

• RQ1 能否为弱凸目标的非凸-凹极小化问题设计一种加速随机方法，实现在无需定义域紧致性假设下的最优oracle复杂度？
• RQ2 在弱凸-强凹与弱凸-仅凹设置下，随机算法的最佳可能oracle复杂度是多少？
• RQ3 如何有效将方差缩减技术整合进加速原始-对偶方法中，以进一步提升此类问题的收敛速率？
• RQ4 在弱凸性与非光滑正则化条件下，GNME与GNP收敛度量在多大程度上仍保持等价？
• RQ5 所提方法在分布鲁棒学习与多分类等实际深度学习应用中，能否超越现有方法？

主要发现

• SAPD+ 在无需假设定义域紧致性的前提下，实现了弱凸-强凹问题的最优已知oracle复杂度$\mathcal{O}(L\kappa_y\epsilon^{-4})$。
• 对于弱凸-仅凹问题，SAPD+ 达到了$\mathcal{O}(L^3\epsilon^{-6})$的oracle复杂度，该复杂度在给定假设下为最优。
• SAPD+ 的方差缩减变体在WCSC设置下实现了$\mathcal{O}(L\kappa_y^2\epsilon^{-3})$的复杂度，优于先前方法。
• 本文建立了在弱凸条件下GNME与GNP度量的等价性，使得GNME的保证可仅以较小额外代价转化为GNP保证。
• 数值实验验证了SAPD+在具有非凸正则化的分布鲁棒学习与深度学习中的多分类问题上的高效性。
• 分析表明，先前对某些算法$\tilde{\mathcal{O}}(\kappa_y^3\epsilon^{-3})$复杂度的宣称存在偏差，正确复杂度应为$\tilde{\mathcal{O}}(L^{1.5}\kappa_y^4\epsilon^{-3})$，在相同参数下更优。