[论文解读] Optimal Epoch Stochastic Gradient Descent Ascent Methods for Min-Max Optimization

Yan Yan, Yi Xu+3 more|arXiv (Cornell University)|Feb 13, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用 23

一句话总结

本文提出了一种逐轮随机梯度下降-上升（Epoch-GDA）方法，用于求解强凸-强凹（SCSC）极小极大优化问题。该工作首次在不假设光滑性或双线性结构的前提下，建立了 duality gap 的最优收敛速率 $O(1/T)$，通过新颖的技术分析，将逐轮梯度下降（Epoch-GD）框架从凸最小化推广至极小极大设置。

ABSTRACT

Epoch gradient descent method (a.k.a. Epoch-GD) proposed by Hazan and Kale (2011) was deemed a breakthrough for stochastic strongly convex minimization, which achieves the optimal convergence rate of $O(1/T)$ with $T$ iterative updates for the {\it objective gap}. However, its extension to solving stochastic min-max problems with strong convexity and strong concavity still remains open, and it is still unclear whether a fast rate of $O(1/T)$ for the {\it duality gap} is achievable for stochastic min-max optimization under strong convexity and strong concavity. Although some recent studies have proposed stochastic algorithms with fast convergence rates for min-max problems, they require additional assumptions about the problem, e.g., smoothness, bi-linear structure, etc. In this paper, we bridge this gap by providing a sharp analysis of epoch-wise stochastic gradient descent ascent method (referred to as Epoch-GDA) for solving strongly convex strongly concave (SCSC) min-max problems, without imposing any additional assumption about smoothness or the function's structure. To the best of our knowledge, our result is the first one that shows Epoch-GDA can achieve the optimal rate of $O(1/T)$ for the duality gap of general SCSC min-max problems. We emphasize that such generalization of Epoch-GD for strongly convex minimization problems to Epoch-GDA for SCSC min-max problems is non-trivial and requires novel technical analysis. Moreover, we notice that the key lemma can also be used for proving the convergence of Epoch-GDA for weakly-convex strongly-concave min-max problems, leading to a nearly optimal complexity without resorting to smoothness or other structural conditions.

研究动机与目标

• 填补在强凸性和强凹性条件下，随机极小极大优化收敛速率理论的空白。
• 将逐轮梯度下降框架（Epoch-GD）从凸最小化推广至极小极大问题。
• 在无需额外假设（如光滑性或双线性结构）的前提下，为一般 SCSC 问题建立 duality gap 的最优 $O(1/T)$ 收敛速率。
• 对 Epoch-GDA 进行精细分析，使其推广至弱凸-强凹问题，并实现近乎最优的复杂度。

提出的方法

• 提出一种逐轮随机梯度下降-上升（Epoch-GDA）算法，其中在一系列轮次中使用随机梯度更新原变量和对偶变量。
• 在各轮次间采用几何递减的步长，类似于 Epoch-GD，以实现快速收敛。
• 利用一个关键的技术引理，通过强凸性和强凹性将迭代点与参考解关联，从而界定了 duality gap。
• 通过在轮次上应用望远镜求和技巧，推导出累积收敛界。
• 利用目标函数在 $x$ 上的强凸性和在 $y$ 上的强凹性，控制迭代点与最优解之间的距离。
• 通过结合凸性不等式与涉及辅助变量 $\hat{x}_k(y)$ 和 $\hat{y}_k(x)$ 的范数分解，推导出 duality gap 的界。

实验结果

研究问题

• RQ1 能否成功将逐轮梯度下降框架扩展至具有强凸性和强凹性的极小极大问题？
• RQ2 在一般 SCSC 极小极大问题中，是否可能在不假设光滑性或结构特性的前提下，实现 duality gap 的 $O(1/T)$ 收敛速率？
• RQ3 所提出的 Epoch-GDA 方法是否能在不依赖光滑性或双线性结构的前提下，实现弱凸-强凹问题的最优收敛？
• RQ4 在缺乏光滑性或特殊函数结构的情况下，分析 duality gap 所需的新型技术工具有哪些？

主要发现

• 所提出的 Epoch-GDA 方法在一般强凸-强凹（SCSC）极小极大问题中，实现了 duality gap 的最优 $O(1/T)$ 收敛速率。
• 该分析首次在不依赖光滑性、双线性结构或其他对目标函数的限制性假设的前提下，建立了此类最优速率。
• 关键的技术引理使得通过强凸性和强凹性将迭代点与参考解关联，从而界定了 duality gap。
• 该方法在弱凸-强凹问题中实现了近乎最优的复杂度，且不依赖于光滑性或结构条件。
• 收敛分析具有非平凡性，需要新颖的分解技术来控制迭代点与最优解之间的距离。
• 结果将 Epoch-GD 框架从凸最小化推广至极小极大优化，标志着一项重大的理论进展。