[论文解读] Solving a Class of Non-Convex Min-Max Games Using Iterative First Order Methods

Maher Nouiehed, Maziar Sanjabi+3 more|arXiv (Cornell University)|Feb 21, 2019

Stochastic Gradient Optimization Techniques参考文献 43被引用 37

一句话总结

该论文提出多步梯度下降-梯度上升算法，在非凸最小-最大博弈中找到 ε-一阶纳什均衡，在 PL 条件下达到最优 ε^{-2} 收敛率，非凸凹性情况达 ε^{-3.5} 收敛率，并在 Fashion-MNIST 上进行经验验证。

ABSTRACT

Recent applications that arise in machine learning have surged significant interest in solving min-max saddle point games. This problem has been extensively studied in the convex-concave regime for which a global equilibrium solution can be computed efficiently. In this paper, we study the problem in the non-convex regime and show that an \varepsilon--first order stationary point of the game can be computed when one of the player's objective can be optimized to global optimality efficiently. In particular, we first consider the case where the objective of one of the players satisfies the Polyak-Łojasiewicz (PL) condition. For such a game, we show that a simple multi-step gradient descent-ascent algorithm finds an \varepsilon--first order stationary point of the problem in \widetilde{\mathcal{O}}(\varepsilon^{-2}) iterations. Then we show that our framework can also be applied to the case where the objective of the "max-player" is concave. In this case, we propose a multi-step gradient descent-ascent algorithm that finds an \varepsilon--first order stationary point of the game in \widetilde{\cal O}(\varepsilon^{-3.5}) iterations, which is the best known rate in the literature. We applied our algorithm to a fair classification problem of Fashion-MNIST dataset and observed that the proposed algorithm results in smoother training and better generalization.

研究动机与目标

• 在机器学习中遇到的非凸情形下，推动解决最小-最大鞍点问题（如GANs、鲁棒/对抗性学习）的问题。
• 将一阶纳什均衡（FNE）定义并作为可处理的目标，当一般纳什均衡可能不存在时。
• 在 PL 条件和非凸凹性设定下，开发具有收敛到 ε-FNE 的算法。
• 提供经验验证，展示在公平分类任务中训练更平滑、泛化能力提升。

提出的方法

• 将问题表述为两人零和的极小-极大博弈，并使用一阶条件（定义 2.1 和 2.3）定义 ε-FNE。
• 假设具有 Lipschitz 梯度的光滑性，并考虑两种情形：一个参与者目标的 PL 条件以及另一方的凹性。
• 对于 PL-博弈，提出一种多步 GDA（梯度下降-上升）算法，在内层最大化步骤与外层下降之间交替进行，基于 Danskin 型梯度估计（引理 A.5）。
• 证明收敛性：在假设 2.5 和 3.3 下，该算法以 O(ε^{-2}) 次迭代和相应的梯度评估达到 ε-FNE（定理 3.4 和推论 3.5）。
• 对于非凸凹博弈，引入带正则化的内层最大化以及一种两步框架（算法 2），使用加速投影梯度上升求解 α，以及用于 θ 的 Frank-Wolfe/PGD，以获得 ε-FNE 的复杂度为 Õ(ε^{-3.5}) 的评估量（定理 4.2、推论 4.3）。

实验结果

研究问题

• RQ1 在一般的非凸非凹最小-最大博弈中，是否能高效计算出 ε-一阶纳什均衡？
• RQ2 在 PL 条件下以及在非凸凹假设下，获得 ε-FNE 的迭代/计算复杂度分别是什么？
• RQ3 迭代的一阶方法在公平分类和鲁棒训练等机器学习任务中是否带来实际收益（稳定性、泛化）？
• RQ4 对内层问题进行正则化如何影响非凸凹最小-最大问题的收敛性保证和经验表现？

主要发现

• 在 PL-博弈中，多步 GDA 算法在 θ 上达到 ε-FNE，梯度评估次数为 O(ε^{-2})，在 α 上为 O(ε^{-2} log(ε^{-1}))，对数因子除外。
• 在非凸凹博弈中，两步框架实现 ε-FNE，总梯度评估为 Õ(ε^{-3.5})（若考虑内/外步，总体为 Õ(ε^{-3.5})）。
• 尽管内极值解不唯一，仍可通过值函数梯度对内层最大化进行求导（由引理 A.5 及相关结果）。
• 经验应用包括在 Fashion-MNIST 上的公平分类任务，显示在所提出框架下训练更平滑、泛化能力提升。
• 在非凸凹设定下，带正则化的内层最大化有助于收敛，并在随机训练中提升最坏情形表现，如实验所示。