[论文解读] Solving Non-Convex Non-Concave Min-Max Games Under Polyak-Łojasiewicz Condition

Maziar Sanjabi, Meisam Razaviyayn+1 more|arXiv (Cornell University)|Dec 7, 2018

Stochastic Gradient Optimization Techniques参考文献 6被引用 20

一句话总结

该论文提出了一种多步梯度下降-上升算法，用于求解非凸非凹极小极大博弈，其中一名玩家的目标函数满足Polyak-Łojasiewicz（PL）条件。该研究证明，该算法在$\widetilde{\mathcal{O}}(\varepsilon^{-2})$轮迭代内找到一个$\varepsilon$-平稳点，其迭代复杂度与已知的下界仅相差对数因子。

ABSTRACT

In this short note, we consider the problem of solving a min-max zero-sum game. This problem has been extensively studied in the convex-concave regime where the global solution can be computed efficiently. Recently, there have also been developments for finding the first order stationary points of the game when one of the player's objective is concave or (weakly) concave. This work focuses on the non-convex non-concave regime where the objective of one of the players satisfies Polyak-Łojasiewicz (PL) Condition. For such a game, we show that a simple multi-step gradient descent-ascent algorithm finds an $\varepsilon$--first order stationary point of the problem in $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ iterations.

研究动机与目标

• 解决在标准凸-凹假设不成立时，寻找非凸非凹极小极大博弈的一阶平稳点的挑战。
• 通过在一名玩家的目标函数上引入Polyak-Łojasiewicz（PL）条件，将收敛性保证扩展到凸-凹框架之外。
• 开发一种迭代复杂度接近非凸优化理论下界的有效算法。
• 在PL条件下，为多步梯度下降-上升方法提供收敛性分析，确保近似平稳性。

提出的方法

• 提出一种多步梯度下降-上升算法，交替执行内层循环以求解最大化者$\alpha$，以及外层循环以更新最小化者$\theta$。
• 采用类似Danskin的论证方法，通过在近似最大化点处计算$f$的梯度，来近似隐函数$g(\theta) = \max_\alpha f(\theta,\alpha)$的梯度。
• 为内层上升步骤采用固定步长$\eta_1 = 1/L_{22}$，为外层下降步骤采用$\eta_2 = 1/L$，其中$L = L_{11} + L_{12}^2/\mu$。
• 基于PL条件引入内层循环的停止准则，确保$\|\nabla_\alpha f(\theta_t, \alpha_K)\| \leq \varepsilon$且$\|\nabla_\theta f(\theta_t, \alpha_K) - \nabla g(\theta_t)\| \leq \varepsilon/4$。
• 利用李雅普诺夫函数论证分析收敛性，表明在$T = \mathcal{O}(\varepsilon^{-2})$轮外层迭代后，迭代序列收敛至$\varepsilon$-平稳点。
• 推导出复杂度界为$\widetilde{\mathcal{O}}(\varepsilon^{-2})$轮迭代，与非凸优化的已知下界仅相差对数因子。

实验结果

研究问题

• RQ1 我们能否在非凸非凹极小极大博弈中实现接近最优的迭代复杂度，以找到$\varepsilon$-平稳点？
• RQ2 在缺乏凹性的情况下，内层最大化目标函数的Polyak-Łojasiewicz（PL）条件是否能实现高效收敛？
• RQ3 一个简单的多步梯度下降-上升算法能否匹配非凸问题中理论下界$\mathcal{O}(\varepsilon^{-2})$？
• RQ4 内层循环的精度如何影响外层下降过程的整体收敛速率？

主要发现

• 该算法在$\widetilde{\mathcal{O}}(\varepsilon^{-2})$轮迭代内找到一个$\varepsilon$-平稳点，其复杂度与非凸优化的已知下界仅相差对数因子。
• 为确保对$g(\theta)$梯度的近似足够精确，内层循环需要$K = \mathcal{O}(\log(1/\varepsilon))$步。
• 外层循环需要$T = \mathcal{O}(\varepsilon^{-2})$轮迭代以实现$\varepsilon$-平稳性，步长为$\eta_2 = 1/L$，其中$L = L_{11} + L_{12}^2/\mu$。
• 当内层循环满足$K \geq N_1(\varepsilon) = \frac{2\log(1/\varepsilon) + \log(16\bar{L}^2\Delta/\mu)}{\log(1/\rho)}$时，梯度近似误差被限制在$\varepsilon/4$以内。
• 当两个梯度的计算成本相近时，整体复杂度为$\mathcal{O}(\varepsilon^{-2}\log(1/\varepsilon))$，仅比理论下界多一个对数因子。
• 该结果将先前针对$\alpha$方向强凹函数$f$的研究扩展到更一般的PL条件，后者适用于某些非凸函数。