[论文解读] Provably Efficient Policy Gradient Methods for Two-Player Zero-Sum Markov Games.

Yulai Zhao, Yuandong Tian+2 more|arXiv (Cornell University)|Feb 17, 2021

Reinforcement Learning in Robotics参考文献 59被引用 8

一句话总结

本文提出了首个在具有函数逼近的双人零和马尔可夫博弈中，可证明高效的策略梯度方法，扩展了自然策略梯度算法。它建立了依赖于集中度系数和近似误差的样本复杂度与迭代复杂度边界，为该设定下此类方法提供了首个定量分析。

ABSTRACT

Policy gradient methods are widely used in solving two-player zero-sum games to achieve superhuman performance in practice. However, it remains elusive when they can provably find a near-optimal solution and how many samples and iterations are needed. The current paper studies natural extensions of Natural Policy Gradient algorithm for solving two-player zero-sum games where function approximation is used for generalization across states. We thoroughly characterize the algorithms' performance in terms of the number of samples, number of iterations, concentrability coefficients, and approximation error. To our knowledge, this is the first quantitative analysis of policy gradient methods with function approximation for two-player zero-sum Markov games.

研究动机与目标

• 解决在具有函数逼近的双人零和马尔可夫博弈中，策略梯度方法缺乏理论保证的问题。
• 刻画在此设定下策略梯度算法的样本复杂度与迭代复杂度。
• 量化集中度系数与近似误差对算法收敛性的影响。
• 为策略梯度方法在竞争性强化学习中的实际成功提供严格的理论基础。

提出的方法

• 将自然策略梯度算法扩展至具有函数逼近的双人零和马尔可夫博弈。
• 提出一种新颖的分析框架，引入集中度系数以限制分布偏移。
• 使用函数逼近来在状态之间泛化策略，从而实现对大规模状态空间的可扩展性。
• 通过将策略梯度更新与策略流形的几何结构关联，推导出收敛性保证。
• 采用对偶优化视角以处理零和博弈的极小极大结构。
• 分析近似误差与算法收敛速率之间的相互作用。

实验结果

研究问题

• RQ1 在具有函数逼近的双人零和马尔可夫博弈中，策略梯度方法能否可证明收敛至近似最优解？
• RQ2 收敛所需的样本数和迭代次数是多少？它们如何依赖于集中度系数与近似误差？
• RQ3 集中度系数如何影响此设定下策略梯度方法的样本效率？
• RQ4 在函数逼近的策略梯度算法中，近似误差与收敛速度之间的理论权衡是什么？
• RQ5 是否存在一个形式化的收敛速率表征，能够同时考虑函数逼近与分布偏移？

主要发现

• 所提出的策略梯度方法在具有函数逼近的双人零和马尔可夫博弈中可证明收敛至近似最优解。
• 样本复杂度与集中度系数成比例，该系数衡量了策略分布与行为分布之间的差异。
• 迭代复杂度受近似误差与策略空间几何结构的函数所限制。
• 分析建立了近似误差与收敛速率之间的正式权衡，表明更小的误差可带来更快的收敛。
• 该方法首次为该类博弈中的策略梯度方法提供了定量的样本复杂度与迭代复杂度边界。
• 结果表明，在集中度与光滑性满足弱假设的条件下，带函数逼近的自然策略梯度方法是可证明高效的。