[论文解读] Strategy iteration is strongly polynomial for 2-player turn-based stochastic games with a constant discount factor

Thomas Dueholm Hansen, Peter Bro Miltersen+1 more|arXiv (Cornell University)|Aug 3, 2010

Auction Theory and Applications被引用 13

一句话总结

本文证明了在常数折扣因子下，两人轮流随机博弈（2TBSGs）的策略迭代算法可在强多项式时间内运行，具体为 O(m/(1−γ) log(n/(1−γ))) 次迭代，其中 m 为动作数，n 为状态数。关键贡献在于首次提出了求解 2TBSGs 的强多项式算法，通过将 Ye 对 MDP 中策略迭代的分析扩展至双人博弈场景，并利用对策略改进和价值向量收敛性的新型界，解决了长期悬而未决的开放问题。

ABSTRACT

Ye showed recently that the simplex method with Dantzig pivoting rule, as well as Howard's policy iteration algorithm, solve discounted Markov decision processes (MDPs), with a constant discount factor, in strongly polynomial time. More precisely, Ye showed that both algorithms terminate after at most $O(\frac{mn}{1-γ}\log(\frac{n}{1-γ}))$ iterations, where $n$ is the number of states, $m$ is the total number of actions in the MDP, and $0

研究动机与目标

• 解决长期悬而未决的开放问题：当折扣因子 γ 为常数时，2TBSGs 的策略迭代算法是否为强多项式时间。
• 将 Ye 对 MDP 中 Howard 策略迭代的分析扩展至 2TBSGs 的双人博弈场景。
• 为 2TBSGs 策略迭代算法所需迭代次数建立紧致上界。
• 证明当折扣因子 γ 为常数时，策略迭代不仅是多项式时间，更是强多项式时间。
• 为未来求解非折扣 2TBSGs 及相关博弈（如简单随机博弈和偏好博弈）的多项式时间算法提供理论基础。

提出的方法

• 利用策略迭代与价值迭代之间的关系，以界定收敛速度。
• 使用一个新颖引理（引理 5.5）证明当前值向量与最优值向量之间距离的几何衰减：||vk − v*||∞ ≤ γk ||v0 − v*||∞。
• 应用一个关键技术工具（引理 6.4），表明每 L = log(1/γ)(n²/(1−γ)) 次迭代后，策略序列中会出现一个此前未使用过的动作。
• 采用基于值向量之间 1-范数差的势函数论证，以界定每次迭代的改进量。
• 利用最优策略为位置策略（positional）以及策略迭代单调提升值向量的性质，确保收敛性。
• 结合值向量衰减的界与动作多样性的界，通过类似鸽巢原理的论证，推导出最终的迭代次数。

实验结果

研究问题

• RQ1 当折扣因子 γ 为常数时，能否证明 2TBSGs 的策略迭代算法在强多项式时间内终止？
• RQ2 Howard 策略迭代在 MDP 中的迭代界是否可推广至双人推广情形，即 2TBSGs 的策略迭代？
• RQ3 对于常数 γ 的 2TBSGs，策略迭代的最紧可能上界是什么？
• RQ4 能否利用值向量收敛的分析，在双人博弈场景中证明强多项式界？
• RQ5 策略序列是否存在某种结构性质（如新动作的出现），可用于界定迭代次数？

主要发现

• 当折扣因子 γ 为常数时，2TBSGs 的策略迭代算法最多在 O(m/(1−γ) log(n/(1−γ))) 次迭代内终止。
• 该界相比 Ye 对 MDP 的早期界提高了 n 倍，从 O(mn/(1−γ) log(n/(1−γ))) 降低至 O(m/(1−γ) log(n/(1−γ)))。
• 当 γ 为常数时，该界为强多项式，因为其对 n 和 m 的依赖为多项式，且对数项仅依赖于 n 和 γ。
• 该算法保证收敛至双方玩家的最优位置策略，利用了 2TBSGs 中存在位置最优策略的性质。
• 证明表明，每 L = log(1/γ)(n²/(1−γ)) 次迭代后，策略序列中会出现一个此前未使用过的动作，且由于总共仅有 m 个动作，因此此类步骤的总数被限制在 (m+1)L 以内。
• 该结果通过提供首个常数折扣因子下 2TBSGs 的强多项式算法，解决了长期悬而未决的开放问题。