[论文解读] On the convergence of policy gradient methods to Nash equilibria in general stochastic games

Angeliki Giannou, Kyriakos Lotidis+2 more|arXiv (Cornell University)|Oct 17, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文通过引入均衡策略的二阶平稳性（SOS）条件，建立了策略梯度方法在一般随机博弈中收敛至纳什均衡的理论。证明了在使用Reinforce算法获得的梯度估计下，其局部收敛速率可达O(1/√n)的平方距离；当策略更新中引入定制化投影步骤时，可实现对确定性纳什均衡的有限时间收敛。

ABSTRACT

Learning in stochastic games is a notoriously difficult problem because, in addition to each other's strategic decisions, the players must also contend with the fact that the game itself evolves over time, possibly in a very complicated manner. Because of this, the convergence properties of popular learning algorithms - like policy gradient and its variants - are poorly understood, except in specific classes of games (such as potential or two-player, zero-sum games). In view of this, we examine the long-run behavior of policy gradient methods with respect to Nash equilibrium policies that are second-order stationary (SOS) in a sense similar to the type of sufficiency conditions used in optimization. Our first result is that SOS policies are locally attracting with high probability, and we show that policy gradient trajectories with gradient estimates provided by the REINFORCE algorithm achieve an $\mathcal{O}(1/\sqrt{n})$ distance-squared convergence rate if the method's step-size is chosen appropriately. Subsequently, specializing to the class of deterministic Nash policies, we show that this rate can be improved dramatically and, in fact, policy gradient methods converge within a finite number of iterations in that case.

研究动机与目标

• 理解策略梯度方法在一般随机博弈中的长期收敛行为，其中博弈动态随时间演变，且均衡难以计算。
• 分析在部分信息和噪声梯度估计下收敛至纳什均衡策略的行为，特别是在非遍历、基于回合的设置中。
• 识别策略梯度轨迹以高概率局部收敛至纳什均衡的充分条件。
• 通过利用二阶平稳性和确定性纳什策略的结构特性，提升收敛速率。

提出的方法

• 提出一种灵活的算法框架，统一策略梯度更新与多种梯度估计方法，包括Reinforce算法的基于回合的估计。
• 将二阶平稳（SOS）策略定义为满足类似优化中Hessian充分条件的策略，确保局部稳定性。
• 使用带积分余项的泰勒展开分析SOS均衡附近的策略梯度下降行为，推导收敛速率。
• 应用梯度支配性和凸性论证，以梯度范数表示当前策略与均衡策略之间的距离。
• 在策略更新中引入一种改进的投影步骤，即使在存在噪声和不确定性的情况下，也能确保对确定性纳什均衡的有限时间收敛。
• 分析实际的逐回合博弈轨迹，避免依赖时间平均或最优迭代的保证。

实验结果

研究问题

• RQ1 在何种条件下，策略梯度方法能在一般随机博弈中收敛至纳什均衡？
• RQ2 对于具有噪声性、基于回合的梯度估计，能否保证策略梯度方法的收敛性？
• RQ3 当均衡策略满足二阶平稳性条件时，可实现的收敛速率是多少？
• RQ4 在策略梯度更新下，能否实现对确定性纳什均衡的有限时间收敛？
• RQ5 策略空间的结构与Hessian行为如何影响收敛稳定性？

主要发现

• 在适当的步长选择下，基于Reinforce梯度估计的策略梯度轨迹以O(1/√n)的平方距离速率收敛至二阶平稳（SOS）纳什均衡。
• 对于作为SOS策略特例的确定性纳什策略，通过在策略更新中引入改进的投影步骤，可实现有限时间收敛。
• SOS策略具有局部吸引性，且以任意高概率收敛，该结论通过基于Hessian的稳定性分析和凸邻域论证得以证明。
• O(1/√n)的收敛速率通过积分余项泰勒展开以及在切锥内对Hessian负定性的有界性分析得以建立。
• 分析表明，即使在噪声性、基于回合的梯度估计下，策略梯度方法仍能逃离非均衡区域并收敛至稳定均衡。
• 该结果适用于具有随机停止时间的一般随机博弈，不局限于遍历或无限时域设置。