[论文解读] Pipeline PSRO: A Scalable Approach for Finding Approximate Nash Equilibria in Large Games

Stephen McAleer, John B. Lanier+2 more|arXiv (Cornell University)|Jun 15, 2020

Reinforcement Learning in Robotics参考文献 26被引用 10

一句话总结

Pipeline PSRO (P2SRO) 是一种可扩展且收敛的算法，通过使用分层的并行强化学习工作者流水线，在大型零和不完美信息博弈中寻找近似纳什均衡。每个工作者均针对下层固定策略和活跃策略的元纳什均衡进行训练。P2SRO 在 Leduc 扑克、随机正规形式博弈以及博弈树复杂度达 $10^{50}$ 的 Barrage Stratego 中，均优于现有的基于 PSRO 的方法（如 DCH 和 Rectified PSRO），收敛速度更快，且能稳定收敛至近似均衡。

ABSTRACT

Finding approximate Nash equilibria in zero-sum imperfect-information games is challenging when the number of information states is large. Policy Space Response Oracles (PSRO) is a deep reinforcement learning algorithm grounded in game theory that is guaranteed to converge to an approximate Nash equilibrium. However, PSRO requires training a reinforcement learning policy at each iteration, making it too slow for large games. We show through counterexamples and experiments that DCH and Rectified PSRO, two existing approaches to scaling up PSRO, fail to converge even in small games. We introduce Pipeline PSRO (P2SRO), the first scalable general method for finding approximate Nash equilibria in large zero-sum imperfect-information games. P2SRO is able to parallelize PSRO with convergence guarantees by maintaining a hierarchical pipeline of reinforcement learning workers, each training against the policies generated by lower levels in the hierarchy. We show that unlike existing methods, P2SRO converges to an approximate Nash equilibrium, and does so faster as the number of parallel workers increases, across a variety of imperfect information games. We also introduce an open-source environment for Barrage Stratego, a variant of Stratego with an approximate game tree complexity of $10^{50}$. P2SRO is able to achieve state-of-the-art performance on Barrage Stratego and beats all existing bots. Experiment code is available athttps://github.com/JBLanier/pipeline-psro.

研究动机与目标

• 解决现有基于 PSRO 的方法在大型零和不完美信息博弈中面临的可扩展性和收敛性限制。
• 开发一种可并行化的 PSRO 变体，在保持博弈论收敛保证的同时提升训练速度。
• 在大型游戏（如博弈树复杂度为 $10^{50}$ 的 Barrage Stratego）中展示可靠收敛和最先进性能。
• 发布一个 Barrage Stratego 的开源环境，以支持可复现的研究与基准测试。

提出的方法

• P2SRO 维护一个强化学习工作者的分层流水线，其中每个工作者针对固定策略和下层活跃策略的元纳什均衡训练一个活跃策略。
• 策略被分类为固定（不再训练）或活跃（正在训练），仅在性能提升趋于平稳后才添加新的活跃策略。
• 该算法通过防止因重新训练过时策略而引发的不稳定性，确保收敛至近似纳什均衡，这与 DCH 和 Rectified PSRO 不同。
• 采用基于阈值的停止准则：当最低层活跃策略的性能提升随时间低于阈值时，该策略被固定，并添加新的策略。
• 该方法利用双 Oracle 原理，针对当前策略群体训练最优回应，确保理论上的收敛性。
• P2SRO 的设计可随并行工作者数量高效扩展，随着计算资源增加，收敛速度显著加快。

实验结果

研究问题

• RQ1 是否可以设计一种基于 PSRO 的方法，使其在大型不完美信息博弈中既具备可扩展性，又能保证收敛至近似纳什均衡？
• RQ2 为何现有的并行 PSRO 方法（如 DCH 和 Rectified PSRO）尽管有理论保证，却在小型游戏中无法收敛？
• RQ3 在大型游戏中，强化学习工作者的分层流水线能否在支持并行训练的同时保持收敛性？
• RQ4 P2SRO 是否在大型复杂游戏（如 Barrage Stratego）中实现了最先进性能？
• RQ5 Barrage Stratego 的开源环境是否能实现均衡寻找算法的可复现基准测试？

主要发现

• 在随机正规形式博弈中，P2SRO 收敛至近似纳什均衡的速度显著快于 Naive PSRO、DCH 和 Rectified PSRO，平均可 exploitability 在一半时间内降至 0.4 以下。
• 在 Leduc 扑克中，P2SRO 达到可 exploitability 0.4 的速度几乎是 Naive PSRO 的两倍，而 DCH 和 Rectified PSRO 均未能收敛至低可 exploitability 水平。
• 在 Barrage Stratego 中，P2SRO 对现有 AI 对手的平均胜率高达 71%，在 820,000 局后，对每个单独对手的胜率均超过 65%。
• P2SRO 在 Barrage Stratego 中全面超越所有现有对手，展示了在博弈树复杂度约为 $10^{50}$ 的游戏中达到最先进性能的能力。
• 作者提供了一个反例，证明 Rectified PSRO 并不能保证收敛至纳什均衡，并通过实证验证其在随机正规形式博弈中的失败。
• 开源的 Barrage Stratego 环境已发布于 https://github.com/JBLanier/stratego_env，支持社区复现与进一步研究。