[论文解读] Stochastic Potential Games

David Mguni|arXiv (Cornell University)|May 27, 2020

Game Theory and Applications参考文献 38被引用 4

一句话总结

本文提出了随机势博弈（SPGs），这是N人非零和随机博弈的一个可处理子类，其中马尔可夫完美纳什均衡（MP-NE）可在多项式时间内计算。通过利用对偶马尔可夫决策过程，该方法即使在超过两人的情况下也能高效计算均衡，克服了通用随机博弈的PSPACE难复杂度。

ABSTRACT

Computing the Nash equilibrium (NE) for N-player non-zerosum stochastic games is a formidable challenge. Currently, algorithmic methods in stochastic game theory are unable to compute NE for stochastic games (SGs) for settings in all but extreme cases in which the players either play as a team or have diametrically opposed objectives in a two-player setting. This greatly impedes the application of the SG framework to numerous problems within economics and practical systems of interest. In this paper, we provide a method of computing Nash equilibria in nonzero-sum settings and for populations of players more than two. In particular, we identify a subset of SGs known as stochastic potential games (SPGs) for which the (Markov perfect) Nash equilibrium can be computed tractably and in polynomial time. Unlike SGs for which, in general, computing the NE is PSPACE-hard, we show that SGs with the potential property are P-Complete. We further demonstrate that for each SPG there is a dual Markov decision process whose solution coincides with the MP-NE of the SPG. We lastly provide algorithms that tractably compute the MP-NE for SGs with more than two players.

研究动机与目标

• 为解决一般N人随机博弈中寻找纳什均衡的计算不可行性问题，这类问题通常为PSPACE难。
• 识别出随机博弈的一个可处理子类——随机势博弈（SPGs），使得纳什均衡可被高效计算。
• 证明SPGs具有对偶马尔可夫决策过程，其解可精确对应于SPG的马尔可夫完美纳什均衡（MP-NE）。
• 提供可扩展的算法，用于计算超过两人玩家的随机博弈中的MP-NE。

提出的方法

• 在随机博弈中识别势性质，确保博弈的收益结构与一个聚合玩家激励的势函数相一致。
• 证明SPGs为P-完全，意味着其可在多项式时间内求解，与一般随机博弈的PSPACE难复杂度形成鲜明对比。
• 构建一个对偶马尔可夫决策过程（MDP），其最优策略恰好对应于SPG的MP-NE。
• 利用SPG与其对偶MDP之间的对偶性，将均衡计算问题转化为单智能体规划问题。
• 设计可扩展的算法，通过求解对偶MDP来计算MP-NE，从而适用于超过两人玩家的游戏。
• 确保该解法计算高效，运行时间在多项式时间内，使其在实际系统中可行。

实验结果

研究问题

• RQ1 在N人非零和随机博弈中，是否可以在团队合作或两人零和博弈的特殊情况之外，高效计算纳什均衡？
• RQ2 哪些随机博弈的结构特性使得纳什均衡可在多项式时间内计算？
• RQ3 是否存在一个对偶马尔可夫决策过程，可用于计算随机势博弈的马尔可夫完美纳什均衡？
• RQ4 SPGs中的势函数如何与多玩家设置下均衡的存在性及计算相关联？

主要发现

• 随机势博弈（SPGs）是随机博弈的一个子类，其马尔可夫完美纳什均衡（MP-NE）的计算是可处理的，并且可在多项式时间内求解。
• 与通常为PSPACE难的通用随机博弈不同，SPGs为P-完全，表明计算复杂度有显著降低。
• 对于每一个SPG，都存在一个对偶马尔可夫决策过程，其解可给出原博弈的MP-NE。
• 所提出的方法能够计算超过两人玩家的随机博弈中的MP-NE，扩展了先前可处理方法的适用范围。
• SPG与其对偶MDP之间的对偶性使得均衡计算可被简化为单智能体优化问题。
• 本文开发的算法为在复杂多智能体随机环境中计算均衡提供了一种可扩展且高效的途径。