[论文解读] On the Convergence of Gradient-Based Learning in Continuous Games

Eric Mazumdar, Lillian J. Ratliff|arXiv (Cornell University)|Apr 16, 2018

Mathematical and Theoretical Epidemiology and Ecology Models被引用 21

一句话总结

本文利用动力系统理论分析连续博弈中基于梯度的学习，表明此类算法几乎必然避开一个非可忽略的局部纳什均衡子集——在某些情况下甚至包括全局纳什均衡。本文引入莫尔斯-斯梅尔博弈（Morse-Smale games），其中收敛至纳什均衡、极限环或非纳什不动点几乎必然发生，从而解释了生成对抗网络（GAN）训练及其他零和设置中的不稳定性。

ABSTRACT

We study the limiting behavior of competitive agents employing gradient-based learning algorithms through the lens of dynamical systems theory. Specifically, we introduce a general framework for competitive gradient-based learning that allows us to analyze a wide breadth of learning algorithms including policy gradient reinforcement learning, gradient based bandits, and certain online convex optimization algorithms. We show that for both potential games and general-sum games, when agents employ gradient-based learning algorithms, they will avoid a non-negligible subset of the local Nash equilibria. This is a strongly negative result for gradient-based learning in games. Our framework also sheds light on the issue of convergence to non-Nash strategies in general-sum and zero-sum games which have no relevance to the underlying game, and arise solely due to the choice of algorithm. The existence and frequency of strategies may explain some of the difficulties encountered when using gradient descent in zero-sum games (e.g. to train generative adversarial networks). Finally, we introduce a new class of games, Morse-Smale games, for which the gradient dynamics correspond to gradient-like flows. This class encompasses a large set of commonly encountered games. For Morse-Smale games, we show that competitive gradient-based learning converges to either limit cycles, Nash equilibria, or non-Nash fixed points almost surely. To reinforce our theoretical contributions, we provide empirical results that highlight the frequency of Nash equilibria that are almost surely avoided by policy gradient in linear quadratic games. Indeed, we present empirical results that show that policy gradient almost surely avoids the unique global Nash equilibrium in one out of five randomly sampled linear quadratic games.

研究动机与目标

• 使用动力系统理论理解竞争性连续博弈中基于梯度的学习的极限行为。
• 识别基于梯度的算法在一般和博弈与零和博弈中为何通常无法收敛至纳什均衡。
• 解释非纳什不动点的出现，这些是算法的人工产物而非博弈论上的解。
• 引入莫尔斯-斯梅尔博弈作为一类，其中梯度动力学表现如梯度流，从而实现更强的收敛保证。
• 通过实证验证，在线性二次博弈中，策略梯度在相当大比例的情况下几乎必然避开全局纳什均衡。

提出的方法

• 将竞争性基于梯度的学习形式化为动力系统，使用连续时间常微分方程（ODE）来建模智能体更新。
• 将莫尔斯-斯梅尔博弈定义为一类梯度动力学对应于梯度流的博弈，确保动力学行为良好。
• 应用动力系统工具——如稳定性分析与莫尔斯理论——来表征学习算法的长期行为。
• 分析在势博弈与一般和博弈中，基于梯度的学习收敛至纳什均衡、极限环及非纳什不动点的行为。
• 通过在线性二次博弈中的实证评估，展示策略梯度在多大程度上避免全局纳什均衡。
• 利用拓扑论证表明，由于不稳定流形的存在，某些均衡几乎必然被避开。

实验结果

研究问题

• RQ1 为何基于梯度的学习算法在竞争性博弈中通常无法收敛至纳什均衡？
• RQ2 在基于梯度的学习中，哪些类型的不动点会浮现，且与博弈的均衡结构无关？
• RQ3 在哪些博弈类别中，可以保证几乎必然收敛至有意义的均衡或周期？
• RQ4 在多大程度上，策略梯度在多维线性二次博弈中会避开全局纳什均衡？
• RQ5 哪些动力系统特性可解释在训练生成对抗网络（GAN）及其他零和博弈中观察到的不稳定性？

主要发现

• 在势博弈与一般和博弈中，基于梯度的学习几乎必然避开一个非可忽略的局部纳什均衡子集。
• 非纳什不动点可在一般和博弈与零和博弈中因算法设计而出现，而非源于博弈结构，从而解释了虚假收敛现象。
• 在莫尔斯-斯梅尔博弈中，基于梯度的学习几乎必然收敛至纳什均衡、极限环或非纳什不动点。
• 实证结果表明，在线性二次博弈中，策略梯度在五分之一的随机采样实例中几乎必然避开唯一的全局纳什均衡。
• 研究结果为生成对抗网络（GAN）训练及其他竞争性深度学习设置中观察到的不稳定性与模式崩溃提供了理论解释。
• 该框架指出，均衡点的不稳定流形会阻止收敛，即使这些均衡是全局最优的。