[论文解读] What is Local Optimality in Nonconvex-Nonconcave Minimax Optimization?

Chi Jin, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Feb 2, 2019

Stochastic Gradient Optimization Techniques参考文献 33被引用 74

一句话总结

本文将局部极小极大定义为序贯极小极大博弈中对全局极小极大的一种局部代理，分析其性质与存在性，并将其与梯度下降-上升(GDA) 动力学的极限行为联系起来。

ABSTRACT

Minimax optimization has found extensive applications in modern machine learning, in settings such as generative adversarial networks (GANs), adversarial training and multi-agent reinforcement learning. As most of these applications involve continuous nonconvex-nonconcave formulations, a very basic question arises---"what is a proper definition of local optima?" Most previous work answers this question using classical notions of equilibria from simultaneous games, where the min-player and the max-player act simultaneously. In contrast, most applications in machine learning, including GANs and adversarial training, correspond to sequential games, where the order of which player acts first is crucial (since minimax is in general not equal to maximin due to the nonconvex-nonconcave nature of the problems). The main contribution of this paper is to propose a proper mathematical definition of local optimality for this sequential setting---local minimax, as well as to present its properties and existence results. Finally, we establish a strong connection to a basic local search algorithm---gradient descent ascent (GDA): under mild conditions, all stable limit points of GDA are exactly local minimax points up to some degenerate points.

研究动机与目标

• 在极小极大设定中澄清全局与局部最优性概念的区别，特别是在序贯博弈中。
• 引入并形式化局部极小极大，作为全局极小极大点的局部代理。
• 建立局部极小极大点的一阶和二阶充分必要条件。
• 在不同正则性假设下证明局部极小极大点的存在性/不存在性。
• 将局部极小极大与梯度下降-上升(GDA)动力学的渐近行为与稳定性联系起来。

提出的方法

• 提出对两人序贯极小极大问题的局部极小极大正式定义。
• 推导局部极小极大点的一阶、二阶必要性/充分性条件。
• 分析存在性结果并给出局部极小极大点存在的条件（例如在y方向强凹性）。
• 考察局部极小极大点与gamma-GDA的稳定极限点之间的关系（带步长比的梯度下降-上升）。
• 利用GDA的极限流分析，将稳定不动点与局部极小极大点联系起来。
• 讨论特例并为最大化Oracle场景提供框架（附录4）。

实验结果

研究问题

• RQ1 在非凸-非凹设定下，序贯极小极大问题的合适局部最优性概念是什么？
• RQ2 在什么条件下局部极小极大点存在以及如何表征？
• RQ3 局部极小极大点如何与GDA的渐近行为与稳定性相关？
• RQ4 何时全局极小极大意味局部极小极大，以及存在性有哪些正则性保证？
• RQ5 高效的最大化Oracle对找到极小极大点有何影响？

主要发现

• 局部极小极大被定义为序贯双人博弈中对全球极小极大点的局部代理。
• 局部极小极大点满足一阶条件：∇_x f = 0 且 ∇_y f = 0。
• 二阶条件反映序贯博弈顺序：∇^2_y_y f ≤ 0 且对x的Schur补充条件对充分性成立。
• 局部 Nash 均衡蕴含局部极小极大点，但即使不存在局部 Nash 均衡，局部极小极大点仍可能存在。
• 在某些正则性下（例如 f 可二阶微分，且在局部极大点附近 f(·,·) 在 y 方向强凹），全局极小极大点也是局部极小极大点。
• 带步长比 γ 的 gamma-GDA 的渐近行为与局部极小极大点相关；gamma-GDA 的稳定极限点在退化情形之外与局部极小极大点一致。