[论文解读] Structured Reachability Analysis for Markov Decision Processes

Craig Boutilier, Ronen I. Brafman+1 more|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 21被引用 41

一句话总结

本文提出一种基于贝叶斯网络等紧凑表示的结构化可达性分析方法，用于马尔可夫决策过程（MDPs），以高效识别可达状态。通过将类似 GRAPHPLAN 的技术扩展至处理贝叶斯网络结构中的概率性、相关联动作，该方法能够剪枝无关变量与取值，显著减小 MDP 规模并提升可解性，尤其在已知初始状态时效果更佳。

ABSTRACT

Recent research in decision theoretic planning has focussed on making the solution of Markov decision processes (MDPs) more feasible. We develop a family of algorithms for structured reachability analysis of MDPs that are suitable when an initial state (or set of states) is known. Using compact, structured representations of MDPs (e.g., Bayesian networks), our methods, which vary in the tradeoff between complexity and accuracy, produce structured descriptions of (estimated) reachable states that can be used to eliminate variables or variable values from the problem description, reducing the size of the MDP and making it easier to solve. One contribution of our work is the extension of ideas from GRAPHPLAN to deal with the distributed nature of action representations typically embodied within Bayes nets and the problem of correlated action effects. We also demonstrate that our algorithm can be made more complete by using k-ary constraints instead of binary constraints. Another contribution is the illustration of how the compact representation of reachability constraints can be exploited by several existing (exact and approximate) abstraction algorithms for MDPs.

研究动机与目标

• 通过状态空间剪枝减少问题规模，解决大规模 MDP 求解的计算不可行性。
• 通过利用 MDP 的结构化紧凑表示，实现决策理论系统中的可扩展规划。
• 将经典规划中的可达性分析技术（如 GRAPHPLAN）扩展至具有相关动作效应的随机、概率性领域。
• 通过提供紧凑且可重用的可达性约束，支持精确与近似抽象方法。
• 通过在动作表示中引入 k 元约束而非传统二元约束，提升可达性估计的完备性与准确性。

提出的方法

• 使用贝叶斯网络表示来建模具有结构化、紧凑的状态与动作依赖关系的 MDP。
• 应用改进的类似 GRAPHPLAN 的算法，从目标向后传播可达性约束，适用于概率性动作效应。
• 通过将动作建模为分布在贝叶斯网络结构中，而非整体转移，来处理相关联的动作效应。
• 引入 k 元约束，相比传统二元约束，可提升可达性估计的完备性。
• 生成可用于消除 MDP 模型中无关变量或变量取值的结构化可达状态描述。
• 将所得的可达性约束集成到现有的 MDP 抽象技术中，涵盖精确与近似方法。

实验结果

研究问题

• RQ1 如何将结构化可达性分析适配于通过贝叶斯网络表示的概率性、相关联动作的 MDP？
• RQ2 从结构化表示中导出的可达性约束在多大程度上可降低 MDP 复杂度并提升可解性？
• RQ3 与二元约束相比，k 元约束是否能提升 MDP 规划中可达性估计的完备性？
• RQ4 生成的可达性描述在多大程度上可被重用于不同的 MDP 抽象算法？
• RQ5 在 MDP 的结构化可达性分析中，计算复杂度与准确性的权衡如何？

主要发现

• 所提方法通过结构化可达性约束成功减小了 MDP 规模，消除了不可达或无关的变量与变量取值。
• 将 GRAPHPLAN 扩展以处理贝叶斯网络中的分布式动作表示，实现了在概率性领域中的有效可达性分析。
• 使用 k 元约束相比二元约束可提升可达性估计的完备性，从而实现更精确的状态空间剪枝。
• 紧凑的可达性描述与精确及近似抽象算法均兼容，增强了其可扩展性。
• 实验结果表明，该方法显著缩小了有效状态空间，使原本不可行的 MDP 可被标准求解器求解。
• 当已知初始状态或初始状态集合时，该方法尤为有效，可实现针对性剪枝并提升规划效率。