[论文解读] Policy-Gradient Algorithms Have No Guarantees of Convergence in Linear Quadratic Games

Eric Mazumdar, Lillian J. Ratliff+2 more|arXiv (Cornell University)|Jul 8, 2019

Reinforcement Learning in Robotics参考文献 27被引用 9

一句话总结

本文表明，在一般和线性二次（LQ）博弈中，策略梯度算法通常缺乏对纳什均衡的局部收敛保证，这通过反例得到证实：在这些反例中，参与者反而收敛到稳定的极限环。尽管这些博弈是非凸的，且梯度动态仅以全局纳什均衡为临界点，但策略梯度动态可能由于鞍点不稳定性而避开均衡点，揭示了多智能体强化学习可扩展性中的根本性局限。

ABSTRACT

We show by counterexample that policy-gradient algorithms have no guarantees of even local convergence to Nash equilibria in continuous action and state space multi-agent settings. To do so, we analyze gradient-play in N-player general-sum linear quadratic games, a classic game setting which is recently emerging as a benchmark in the field of multi-agent learning. In such games the state and action spaces are continuous and global Nash equilibria can be found be solving coupled Ricatti equations. Further, gradient-play in LQ games is equivalent to multi agent policy-gradient. We first show that these games are surprisingly not convex games. Despite this, we are still able to show that the only critical points of the gradient dynamics are global Nash equilibria. We then give sufficient conditions under which policy-gradient will avoid the Nash equilibria, and generate a large number of general-sum linear quadratic games that satisfy these conditions. In such games we empirically observe the players converging to limit cycles for which the time average does not coincide with a Nash equilibrium. The existence of such games indicates that one of the most popular approaches to solving reinforcement learning problems in the classic reinforcement learning setting has no local guarantee of convergence in multi-agent settings. Further, the ease with which we can generate these counterexamples suggests that such situations are not mere edge cases and are in fact quite common.

研究动机与目标

• 调查多智能体连续控制设置中策略梯度算法是否具有理论收敛保证。
• 分析N人一般和线性二次（LQ）博弈中的梯度博弈动态，该类博弈是多智能体强化学习中的典型基准。
• 确定尽管纳什均衡是唯一临界点，其在策略梯度动态下是否为稳定吸引子。
• 构建明确的反例，表明策略梯度可避开纳什均衡并收敛到极限环。
• 评估此类非收敛行为在实际多智能体强化学习设置中的普遍性及其影响。

提出的方法

• 作者分析N人一般和LQ博弈，其中每个智能体控制一个线性动态系统并具有二次代价，全局纳什均衡通过求解耦合的Riccati方程获得。
• 他们证明LQ博弈中策略梯度的梯度动态等价于梯度博弈，且该动态的唯一临界点为全局纳什均衡。
• 利用稳定流形定理，他们证明纳什均衡是梯度动态的鞍点，因此在策略梯度更新下为不稳定吸引子。
• 他们推导出策略梯度轨迹避开纳什均衡的充分条件，基于鞍点的不稳定流形结构。
• 他们构建了满足这些条件的显式LQ博弈实例，并通过实验验证其收敛到极限环而非均衡点。
• 他们使用向量化和隐函数定理，证明关键系统矩阵（Σ_K 和 P_i）关于策略参数为C¹类，从而确保梯度动态的光滑性。

实验结果

研究问题

• RQ1 一般和LQ博弈中的策略梯度算法是否具有对纳什均衡的局部收敛保证？
• RQ2 在LQ博弈中，纳什均衡是否为策略梯度动态下的稳定吸引子？
• RQ3 在连续动作、连续状态的多智能体设置中，策略梯度动态是否可能避开纳什均衡并收敛到极限环？
• RQ4 此类非收敛行为在LQ博弈中有多普遍？其发生需要哪些条件？
• RQ5 是否存在理论解释说明为何极限环策略的时间平均不等于纳什均衡？

主要发现

• 在一般和LQ博弈中，策略梯度动态可能完全避开纳什均衡，尽管这些均衡是梯度动态的唯一临界点。
• 作者构建了显式反例，表明在这些反例中，策略梯度几乎必然无法收敛到纳什均衡，原因在于鞍点不稳定性。
• 在这些反例中，参与者经验上收敛到稳定的极限环，且策略的时间平均不等于纳什均衡。
• 纳什均衡是梯度动态的鞍点而非稳定吸引子，这解释了为何策略梯度可能逃离该均衡。
• 不稳定性源于鞍点的不稳定流形具有正测度，使得在随机初始化下收敛到均衡的可能性极低。
• 结果表明，多智能体设置中的策略梯度方法可能经常无法收敛到均衡，尽管其在实践中表现成功，这对其理论可靠性提出了挑战。