[论文解读] Policy iteration for perfect information stochastic mean payoff games with bounded first return times is strongly polynomial

Marianne Akian, Stéphane Gaubert|arXiv (Cornell University)|Oct 18, 2013

Stochastic processes and financial applications参考文献 15被引用 12

一句话总结

本文证明了在指定状态的首次返回时间均匀有界时，完美信息随机平均收益博弈的策略迭代是强多项式时间的。通过利用非线性Perron-Frobenius理论与状态相关的缩放变换，作者将平均收益问题转化为谱半径有界的折扣问题，证明了在首次返回时间有固定上界时，策略迭代次数在输入规模上为多项式有界。

ABSTRACT

Recent results of Ye and Hansen, Miltersen and Zwick show that policy iteration for one or two player (perfect information) zero-sum stochastic games, restricted to instances with a fixed discount rate, is strongly polynomial. We show that policy iteration for mean-payoff zero-sum stochastic games is also strongly polynomial when restricted to instances with bounded first mean return time to a given state. The proof is based on methods of nonlinear Perron-Frobenius theory, allowing us to reduce the mean-payoff problem to a discounted problem with state dependent discount rate. Our analysis also shows that policy iteration remains strongly polynomial for discounted problems in which the discount rate can be state dependent (and even negative) at certain states, provided that the spectral radii of the nonnegative matrices associated to all strategies are bounded from above by a fixed constant strictly less than 1.

研究动机与目标

• 在首次返回时间有界条件下，建立完美信息随机平均收益博弈策略迭代的强多项式性。
• 将已知的折扣博弈中固定折扣率下的强多项式界扩展至平均收益与状态相关折扣率情形。
• 开发一种在策略迭代下不变的缩放变换，保持组合结构的同时支持收缩性分析。
• 证明任意策略对下转移矩阵的谱半径远离1，从而支持基于收缩的迭代次数界。
• 通过用谱半径度量替代全局折扣因子，统一并改进先前对折扣博弈的界。

提出的方法

• 应用非线性Perron-Frobenius理论，将平均收益问题转化为具有状态相关折扣率的折扣问题。
• 引入一种基于首次通过时间向量φ的缩放变换，以归一化问题并保持策略迭代的轨迹。
• 定义一个修正映射Lφ(f)，其保持顺序性，并在加权上确界范数下诱导收缩因子λ < 1。
• 使用收缩因子λ = (K−1)/K，其中K为首次通过时间向量φ各分量的上界，以界定迭代次数。
• 证明所有策略诱导的转移矩阵在缩放映射下均满足收缩条件，从而确保迭代次数有限且有界。
• 利用转移矩阵中最终类的唯一性，确保首次通过时间向量φ的存在性与正性。

实验结果

研究问题

• RQ1 在首次返回时间有界条件下，能否证明平均收益随机博弈的策略迭代是强多项式时间的？
• RQ2 使用状态相关折扣与非线性缩放是否能在保持策略迭代组合结构的同时，实现强多项式界？
• RQ3 能否利用任意策略对下转移矩阵的谱半径来界定迭代次数，且该界定在缩放下保持不变？
• RQ4 与现有界相比，新界在依赖折扣率与问题规模方面有何差异？
• RQ5 是否可通过变换技术将平均收益问题转化为谱半径有界的折扣问题？

主要发现

• 在固定状态的首次返回时间均匀有界时，平均收益博弈的策略迭代是强多项式时间的，其迭代次数在状态数与动作数上为多项式有界。
• 对于固定λ < 1的折扣博弈，新界改进为O((m₁ − n)/(1 − λ) log(1/(1 − λ)))，其中m₁为第一玩家动作数，优于先前界。
• 对于状态相关折扣率，若任意策略对下转移矩阵的最大谱半径远离1，则迭代次数有界，且界依赖于该谱半径。
• 缩放映射Lφ(f)保持了策略迭代的组合轨迹，并确保变换后映射是保序且收缩因子为λ < 1。
• 首次通过时间向量φ满足φ = 1 + M_(c)φ，其中M_(c)为将第c列置零的转移矩阵，从而支持缩放向量的构造。
• 收缩因子λ = (K−1)/K由φ的统一上界K导出，确保迭代次数为O(K log K)，且与原始折扣率无关。