[论文解读] Near-Optimal Algorithms for Minimax Optimization

Tianyi Lin, Chi Jin+1 more|arXiv (Cornell University)|Feb 5, 2020

Sparse and Compressive Sensing Techniques参考文献 69被引用 45

一句话总结

本论文提出对光滑且强凸-强凹极小化极大问题近似最优的一阶算法，在梯度复杂度方面达到下界，最多误差以对数量级因子表示。它还将加速扩展到包括非凸情形在内的其他设定。

ABSTRACT

This paper resolves a longstanding open question pertaining to the design of near-optimal first-order algorithms for smooth and strongly-convex-strongly-concave minimax problems. Current state-of-the-art first-order algorithms find an approximate Nash equilibrium using $ ilde{O}(κ_{\mathbf x}+κ_{\mathbf y})$ or $ ilde{O}(\min\{κ_{\mathbf x}\sqrt{κ_{\mathbf y}}, \sqrt{κ_{\mathbf x}}κ_{\mathbf y}\})$ gradient evaluations, where $κ_{\mathbf x}$ and $κ_{\mathbf y}$ are the condition numbers for the strong-convexity and strong-concavity assumptions. A gap still remains between these results and the best existing lower bound $ ildeΩ(\sqrt{κ_{\mathbf x}κ_{\mathbf y}})$. This paper presents the first algorithm with $ ilde{O}(\sqrt{κ_{\mathbf x}κ_{\mathbf y}})$ gradient complexity, matching the lower bound up to logarithmic factors. Our algorithm is designed based on an accelerated proximal point method and an accelerated solver for minimax proximal steps. It can be easily extended to the settings of strongly-convex-concave, convex-concave, nonconvex-strongly-concave, and nonconvex-concave functions. This paper also presents algorithms that match or outperform all existing methods in these settings in terms of gradient complexity, up to logarithmic factors.

研究动机与目标

• 激发研究并填补已知的极小极大优化中的梯度复杂度上界与下界之间的差距。
• 设计对强凸-强凹和强凸-凹极小极大问题近似最优的一阶算法。
• 将加速框架扩展到凸-凹、非凸-强凹以及非凸-凹等设定。
• 提供用于极小极大邻近步的加速求解器以及一个实用、可证明高效的实现。
• 提供与现有结果的对比分析，突出在梯度复杂度方面的改进。

提出的方法

• 开发带有不精确近端子问题求解的加速近端点框架（APPA）。
• 使用用于极小极大近端步的加速求解器来求解形式为 min_x max_y f(x,y) + ell||x - x̃||^2 的子问题。
• 引入 Maximin-AG2，一种交替进行对 x 的加速极小化和通过 AGD/AGA 子程序对 y 的加速上升的算法。
• 采用 Nesterov 的加速梯度技术和加速求解器，在强凸-强凹设定下实现 tilde-O(√(κ_x κ_y)) 的梯度复杂度。
• 提供带有严格收敛性保证的算法组件（AGD、Inexact-APPA 以及加速极小极大求解器）。
• 将该框架扩展到凸-凹、非凸-强凹以及非凸-凹设定，达到接近最优的收敛速度。

实验结果

研究问题

• RQ1 一阶方法是否能够在强凸-强凹极小极大问题上达到下界 tilde-O(√(κ_x κ_y)) 的梯度复杂度？
• RQ2 哪些算法结构能够在强凸-凹极小极大问题及其扩展上实现近似最优的收敛速率？
• RQ3 如何将加速机制整合到近端点与极小极大步骤中，以处理一类广义的极小极大问题（凸-凹以及非凸-凹）？
• RQ4 一个加速的近端步求解器是否能够推广到非凸设定，同时保持有利的梯度复杂度？
• RQ5 所提方法在不同设定（凸-凹、强凸-强凹、非凸-凹）下与现有的上界和下界相比如何？

主要发现

• 在强凸-强凹极小极大问题上实现 tilde-O(√(κ_x κ_y)) 的梯度复杂度，达到与已知下界在对数因子范围内的匹配。
• 在强凸-凹极小极大问题上获得 tilde-O(√(κ_x/ε)) 的梯度复杂度，达到与下界在对数因子范围内的匹配。
• 在凸-凹设定下达到 tilde-O(ε^{-1}) 的梯度复杂度，与下界及现有上界在对数因子范围内对齐。
• 开发适用于极小极大近端步的加速求解器，在较少严格平滑性假设下工作（经由 APPA）。
• 为非凸-强凹和非凸-凹极小极大问题提供了加速算法，具有改进的基于停稳性/近似梯度的收敛速率（如 ε^{-2.5} 到 ε^{-3} 区间）。
• 提供一个统一框架（APPA + Maximin-AG2），覆盖多种极小极大情形并具备可证明的保证。