[论文解读] On the Complexity of Solving Markov Decision Problems

Michael L. Littman, Thomas Dean+1 more|arXiv (Cornell University)|Feb 20, 2013

Reinforcement Learning in Robotics参考文献 34被引用 389

一句话总结

本文分析了求解马尔可夫决策过程（MDPs）的计算复杂度，指出尽管MDPs在理论上可在多项式时间内求解，但针对大规模问题的实际算法仍存在局限。文章倡导基于MDP结构的新型分析方法，以提升强化学习与自动规划应用中的效率与可扩展性。

ABSTRACT

Markov decision problems (MDPs) provide the foundations for a number of problems of interest to AI researchers studying automated planning and reinforcement learning. In this paper, we summarize results regarding the complexity of solving MDPs and the running time of MDP solution algorithms. We argue that, although MDPs can be solved efficiently in theory, more study is needed to reveal practical algorithms for solving large problems quickly. To encourage future research, we sketch some alternative methods of analysis that rely on the structure of MDPs.

研究动机与目标

• 澄清人工智能与强化学习中求解马尔可夫决策过程（MDPs）的理论与实际复杂度。
• 识别在多项式时间理论可解性与现有算法在大规模问题上效率低下之间的差距。
• 通过分析MDP的结构特性，推动更高效算法的开发。
• 鼓励研究替代性算法分析方法，利用MDP结构以提升性能。
• 为未来在自动规划与强化学习中开发可扩展且高效的MDP求解技术奠定基础。

提出的方法

• 分析标准MDP求解算法（如值迭代与策略迭代）的计算复杂度。
• 证明在标准假设下MDPs可在多项式时间内求解，确立其理论可解性。
• 强调理论效率与在大规模或复杂MDPs上实际性能之间的脱节。
• 提出算法分析应转向利用MDP的结构特征，如状态空间稀疏性或转移模式。
• 鼓励利用问题特定的结构洞察设计更快、更具可扩展性的求解器。
• 回顾现有算法及其运行时间，强调需要超越最坏情况界限的新复杂度分析框架。

实验结果

研究问题

• RQ1 为何理论上高效的MDP算法在实践中对大规模问题常表现不佳？
• RQ2 MDPs的哪些结构特性可被利用以设计更快、更具可扩展性的求解算法？
• RQ3 如何将MDP复杂度分析从最坏情况多项式界限扩展至反映现实世界性能？
• RQ4 何种替代性算法框架可在保持最优性保证的同时提升MDP求解效率？
• RQ5 MDPs的固有结构在哪些方面可指导实际强化学习与规划系统的设计？

主要发现

• MDPs可在多项式时间内求解，确认其在标准假设下的理论可解性。
• 尽管具有多项式时间可解性，现有算法在大规模或复杂MDPs上的实际表现往往不佳。
• 理论效率与实际可扩展性之间的差距表明需要新的算法方法。
• MDP的结构特性（如转移或状态空间的稀疏性）可被用于设计更快速的求解器。
• 当前的复杂度分析框架不足以预测现实世界性能，亟需新的分析方法。
• 本文呼吁开展关于结构感知算法的研究，以弥合MDP求解中理论与实践之间的差距。