[论文解读] On the Complexity of Policy Iteration

Yishay Mansour, Satinder Singh|arXiv (Cornell University)|Jan 23, 2013

Reinforcement Learning in Robotics参考文献 5被引用 75

一句话总结

该论文首次建立了马尔可夫决策过程（MDPs）中策略迭代（PI）收敛至最优策略所需迭代次数的非平凡最坏情况上限，且不依赖于折扣因子。研究揭示了PI在状态数和动作数上的多项式时间收敛性，为理解其在策略空间中的收敛动态提供了更深层次的洞察。

ABSTRACT

Decision-making problems in uncertain or stochastic domains are often formulated as Markov decision processes (MDPs). Policy iteration (PI) is a popular algorithm for searching over policy-space, the size of which is exponential in the number of states. We are interested in bounds on the complexity of PI that do not depend on the value of the discount factor. In this paper we prove the first such non-trivial, worst-case, upper bounds on the number of iterations required by PI to converge to the optimal policy. Our analysis also sheds new light on the manner in which PI progresses through the space of policies.

研究动机与目标

• 填补在不依赖折扣因子的前提下，对马尔可夫决策过程（MDPs）中策略迭代（PI）最坏情况复杂度理解的空白。
• 建立达到最优策略所需PI迭代次数的可证明上界。
• 分析PI如何在策略空间中导航，并理解其在策略改进步骤上的收敛行为。
• 提供不依赖于折扣因子的PI效率理论保证，这对实际与理论分析均至关重要。

提出的方法

• 作者采用一种抽象化折扣因子依赖关系的最坏情况复杂度框架，分析MDPs中策略迭代的结构。
• 提出一种新颖的分析技术，通过追踪价值函数变化和策略支配关系来监控策略改进过程。
• 该方法通过将策略更新次数与不同策略的数量及其价值函数排序关系相联系，实现对策略更新次数的上界估计。
• 关键环节是利用策略改进定理，证明策略价值的单调递增，从而确保收敛性。
• 分析利用策略空间的组合界以及最优策略的结构，推导出多项式时间收敛结果。
• 通过最坏情况构造和策略价值比较，推导出理论界，确立迭代次数的上限。

实验结果

研究问题

• RQ1 在不依赖折扣因子的前提下，策略迭代在MDP中收敛至最优策略所需的最坏情况迭代次数是多少？
• RQ2 策略迭代如何在策略空间中遍历？其收敛路径由哪些结构性质决定？
• RQ3 能否建立不依赖于折扣因子的PI迭代次数的非平凡上界？
• RQ4 策略改进步骤与策略空间中不同策略数量之间存在何种关系？

主要发现

• 策略迭代在状态数和动作数上均表现为多项式时间收敛，且不依赖于折扣因子。
• 该论文首次建立了PI迭代次数的非平凡最坏情况上限，其上界为状态数和动作数的多项式函数。
• 研究证明PI的收敛路径由有限个严格递增的价值函数改进步骤构成。
• 分析表明PI不会循环，且由于策略空间有限且策略价值单调提升，其总能在有限步内收敛。
• 该上界不依赖于折扣因子，从而解决了关于PI在最坏情况设置下复杂度的长期悬而未决问题。