[论文解读] On the computational complexity of solving stochastic mean-payoff games

Vladimir Gurvich, Peter Bro Miltersen|ArXiv.org|Dec 2, 2008

Logic, Reasoning, and Knowledge参考文献 10被引用 3

一句话总结

本文建立了求解 Condon 游戏（简单随机游戏）、以一进制表示奖励/概率的随机平均收益游戏，以及以二进制表示奖励/概率的相同游戏之间的多项式时间等价性。作者证明了求解这三类游戏的计算复杂度完全相同，表明在标准简单随机游戏的基础上增加奖励并使用二进制编码，并不会使问题的难度超出简单随机游戏的范围。

ABSTRACT

We consider some well-known families of two-player, zero-sum, perfect information games that can be viewed as special cases of Shapley's stochastic games. We show that the following tasks are polynomial time equivalent: - Solving simple stochastic games. - Solving stochastic mean-payoff games with rewards and probabilities given in unary. - Solving stochastic mean-payoff games with rewards and probabilities given in binary.

研究动机与目标

• 确定求解随机平均收益游戏（无折现 Gillette 游戏）是否在计算上等价于求解简单随机游戏（Condon 游戏）。
• 研究在游戏过程中引入奖励是否会增加求解随机游戏的计算复杂度。
• 考察输入表示方式——特别是奖励和概率的一进制与二进制编码——对求解这些游戏复杂度的影响。
• 探讨 Gillette 游戏的进一步推广，如具有单玩家依赖转移的 Filar 游戏，是否仍与 Condon 游戏多项式时间等价。

提出的方法

• 通过引入辅助顶点和概率装置，将折现 Gillette 游戏归约到 Condon 游戏，以通过终端吸收概率模拟折现效果。
• 将原始游戏中所有奖励仿射缩放至 [0,1] 区间，以在不改变最优行为的前提下保持策略等价性。
• 对于原始游戏中每个（状态，动作）对，在 Condon 游戏中创建一个新的随机顶点，根据该动作的奖励和转移概率进行游戏路由，且以与折现奖励成比例的概率被吸收至终端顶点。
• 通过证明在 Condon 游戏中到达终端状态的概率等于原始 Gillette 游戏中的折现期望奖励，建立策略等价性。
• 通过将终端吸收映射为奖励 1，其余所有转移映射为奖励 0，构建从 Condon 游戏到无折现 Gillette 游戏的反向归约，从而保持到达终端状态的概率作为极限平均收益。
• 证明原始游戏中纯的、位置性策略与变换后游戏中对应的策略一一对应，且在两种归约下最优策略均被保持。

实验结果

研究问题

• RQ1 求解 Condon 游戏与求解随机平均收益游戏（无折现 Gillette 游戏）在计算上是否等价？
• RQ2 在随机游戏中引入游戏过程中的奖励是否会增加其计算复杂度，使其超过简单随机游戏的复杂度？
• RQ3 求解随机平均收益游戏的计算复杂度是否依赖于输入表示方式（即奖励和概率的一进制与二进制编码）？
• RQ4 能否对 Gillette 游戏的进一步推广（如具有单玩家依赖转移的 Filar 游戏）在多项式时间内归约为 Condon 游戏？

主要发现

• 求解 Condon 游戏与求解以一进制表示奖励和概率的随机平均收益游戏是多项式时间等价的。
• 以二进制表示奖励和概率的随机平均收益游戏的求解，同样与求解 Condon 游戏多项式时间等价。
• 在游戏过程中引入奖励并不会使求解随机游戏的计算复杂度超过简单随机游戏的复杂度。
• 从折现 Gillette 游戏到 Condon 游戏的归约保持了最优策略，且可在多项式时间内计算，其中 Condon 游戏中的吸收概率等于原始游戏中对应的折现奖励。
• 从 Condon 游戏到无折现 Gillette 游戏的归约保持了到达终端状态的概率作为极限平均收益，从而确保了策略等价性。
• 结果表明，无论是否包含奖励，或输入采用一进制或二进制编码，求解这些游戏族的计算复杂度本质上是相同的。