[论文解读] Speeding Up Planning in Markov Decision Processes via Automatically Constructed Abstractions

Alejandro Isaza, Csaba Szepesvári+2 more|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 14被引用 3

一句话总结

本文提出了一种自动化的多级抽象层次结构，用于加速中等规模马尔可夫决策过程（MDPs）中的规划，特别是随机最短路径问题。通过构建越来越粗粒度的抽象，并从最顶层递归地细化策略，该方法在保持近似最优解的同时，相较于最先进求解器实现了高达100倍的加速，且对最优性损失提供了理论边界。

ABSTRACT

In this paper, we consider planning in stochastic shortest path (SSP) problems, a subclass of Markov Decision Problems (MDP). We focus on medium-size problems whose state space can be fully enumerated. This problem has numerous important applications, such as navigation and planning under uncertainty. We propose a new approach for constructing a multi-level hierarchy of progressively simpler abstractions of the original problem. Once computed, the hierarchy can be used to speed up planning by first finding a policy for the most abstract level and then recursively refining it into a solution to the original problem. This approach is fully automated and delivers a speed-up of two orders of magnitude over a state-of-the-art MDP solver on sample problems while returning near-optimal solutions. We also prove theoretical bounds on the loss of solution optimality resulting from the use of abstractions.

研究动机与目标

• 解决在全可枚举状态空间的中等规模MDPs中规划的计算低效问题。
• 开发一种完全自动化的生成分层抽象的方法，以简化规划过程。
• 在不牺牲解质量的前提下，显著减少规划时间。
• 为抽象导致的最优性损失提供理论保证。
• 实现在导航和不确定性环境下的决策等复杂场景中的可扩展规划。

提出的方法

• 构建原始MDP状态空间的多级逐步变粗的抽象层次结构。
• 使用自动化程序基于状态相似性和转移结构生成抽象。
• 在最抽象层级上应用值迭代或类似规划算法，以找到粗粒度策略。
• 通过从顶层到底层的逐级抽象层次递归地细化策略。
• 采用投影机制将策略从抽象层级映射回更细粒度的状态。
• 集成子最优性的理论边界，以确保解质量在已知范围内保持。

实验结果

研究问题

• RQ1 自动化抽象层次结构是否能显著减少中等规模MDPs中的规划时间？
• RQ2 与求解原始问题相比，使用抽象MDPs时会损失多少最优性？
• RQ3 抽象过程能否完全自动化，无需人工干预？
• RQ4 递归细化过程是否能在多个抽象层级上保持近似最优性能？
• RQ5 能为从抽象中导出的解的子最优性提供哪些理论保证？

主要发现

• 所提出的方法在基准问题上相较于最先进MDP求解器实现了高达两个数量级（100倍）的加速。
• 所生成的解为近似最优，且对抽象导致的子最优性差距提供了理论边界。
• 抽象层次结构完全自动化，无需人工设计或调参。
• 递归策略细化过程有效实现了从粗粒度到细粒度层级的知识迁移。
• 该方法在导航和不确定性环境下的决策等实际应用中表现有效。
• 该方法在具有不同复杂度的多样化问题实例中均保持了强劲的性能。