[论文解读] On the Complexity of Computing Markov Perfect Equilibrium in General-Sum Stochastic Games

Xiaotie Deng, Yuhao Li+3 more|arXiv (Cornell University)|Sep 4, 2021

Reinforcement Learning in Robotics参考文献 45被引用 9

一句话总结

本文证明了在有限horizon、折扣化、一般和（general-sum）随机博弈中计算近似马尔可夫完美均衡（MPE）是PPAD-完全的。通过在策略空间上构建一个多项式有界的函数，作者将MPE计算问题转化为一个不动点问题，证明该问题极不可能是NP-难的，除非NP = co-NP，从而为多智能体强化学习研究提供了复杂性基础。

ABSTRACT

Similar to the role of Markov decision processes in reinforcement learning, Stochastic Games (SGs) lay the foundation for the study of multi-agent reinforcement learning (MARL) and sequential agent interactions. In this paper, we derive that computing an approximate Markov Perfect Equilibrium (MPE) in a finite-state discounted Stochastic Game within the exponential precision is extbf{PPAD}-complete. We adopt a function with a polynomially bounded description in the strategy space to convert the MPE computation to a fixed-point problem, even though the stochastic game may demand an exponential number of pure strategies, in the number of states, for each agent. The completeness result follows the reduction of the fixed-point problem to {\sc End of the Line}. Our results indicate that finding an MPE in SGs is highly unlikely to be extbf{NP}-hard unless extbf{NP}= extbf{co-NP}. Our work offers confidence for MARL research to study MPE computation on general-sum SGs and to develop fruitful algorithms as currently on zero-sum SGs.

研究动机与目标

• 确定在一般和随机博弈（SGs）中寻找近似马尔可夫完美均衡（MPE）的计算复杂度。
• 填补对MPE计算在SGs中是否为NP-难或属于更结构化复杂性类的理解空白。
• 为多智能体强化学习（MARL）中MPE计算算法的开发提供理论基础。
• 证明MPE计算极不可能是NP-难的，除非NP = co-NP，从而确认其复杂性类为PPAD-完全。

提出的方法

• 作者在策略空间上定义了一个具有多项式有界描述的函数f，尽管纯策略数量呈指数级增长，仍能实现从MPE计算到不动点问题的约化。
• 基于字典序最小的正动作，为策略组合构建标签方案，确保每个组合具有唯一标签。
• 采用基于单纯形的方法识别终止单纯形，其中给定智能体和状态的所有动作均被表示，从而确保可推导出近似不动点。
• 通过部分函数g将问题约化至终点问题（End of the Line, EOL），该函数将单纯形单位映射到单纯形单位，且具有确保未配对单纯形单位对应于终止单纯形单位的性质。
• 函数g及其逆函数均可在多项式时间内计算，从而实现对已知为PPAD-完全的EOL问题的有效约化。
• 通过选择 d = 32A_max^5 R_max^3 (λ+1) / (1−γ)^5 L^2，作者确保任何EOL解均可产生一个1/L-近似MPE。

实验结果

研究问题

• RQ1 在一般和随机博弈中计算近似MPE是否为PPAD-完全？
• RQ2 尽管策略空间呈指数级增长，MPE计算能否约化为不动点问题？
• RQ3 MPE计算在SGs中极不可能是NP-难的，这对其在MARL算法设计中的意义是什么？
• RQ4 能否通过策略空间上的多项式有界函数有效表示SGs中MPE计算？

主要发现

• 在有限状态、折扣化、一般和随机博弈中计算近似MPE是PPAD-完全的。
• 约化至终点问题（EOL）确认了MPE计算位于PPAD复杂性类中。
• 在策略空间上构建多项式有界函数，使MPE计算可有效约化为不动点问题，避免了对纯策略的指数级表示。
• 该结果意味着MPE计算极不可能是NP-难的，除非NP = co-NP。
• 通过求解EOL实例可计算出1/L-近似MPE，其中d的选择确保了所需的精度。
• 该理论框架支持为一般和随机博弈开发MARL算法，类似于零和情形下已取得的进展。