[论文解读] RAPID: A Reachable Anytime Planner for Imprecisely-sensed Domains

Emma Brunskill, Stuart Russell|arXiv (Cornell University)|Mar 15, 2012

AI-based Problem Solving and Planning参考文献 20被引用 18

一句话总结

RAPID 是一种新颖的 anytime 规划算法，适用于在传感不精确的领域中部分可观察马尔可夫决策过程（POMDPs），通过利用因子化动态中的拓扑结构，在与状态变量数量成线性关系的时间内计算出可达状态的初始包络。该算法通过迭代扩展此包络实现高效且可扩展的规划，在拥有 122 个状态变量和超过 10^30 种可能状态的辅导模拟中表现出色。

ABSTRACT

Despite the intractability of generic optimal partially observable Markov decision process planning, there exist important problems that have highly structured models. Previous researchers have used this insight to construct more efficient algorithms for factored domains, and for domains with topological structure in the flat state dynamics model. In our work, motivated by findings from the education community relevant to automated tutoring, we consider problems that exhibit a form of topological structure in the factored dynamics model. Our Reachable Anytime Planner for Imprecisely-sensed Domains (RAPID) leverages this structure to efficiently compute a good initial envelope of reachable states under the optimal MDP policy in time linear in the number of state variables. RAPID performs partially-observable planning over the limited envelope of states, and slowly expands the state space considered as time allows. RAPID performs well on a large tutoring-inspired problem simulation with 122 state variables, corresponding to a flat state space of over 10^30 states.

研究动机与目标

• 解决在高维、传感不精确领域中最优 POMDP 规划的计算不可行性。
• 克服先前方法的局限性，这些方法假设状态动态为平坦或因子化但缺乏拓扑结构。
• 开发一种可扩展的规划方法，在逐步扩展所考虑的状态空间的同时保持解决方案质量。
• 实现在复杂真实领域（如高维状态空间的自动化辅导系统）中的实际部署。
• 利用领域特定的结构洞察——特别是因子化动态中的拓扑结构——以降低规划复杂度。

提出的方法

• 识别并利用 POMDP 因子化动态模型中的拓扑结构，以定义可达状态包络。
• 以与状态变量数量成线性关系的时间，计算在最优策略下可达的状态初始包络。
• 在有限且动态扩展的状态包络上执行部分可观察规划。
• 根据计算时间的允许程度，逐步扩展所考虑的状态空间，实现 anytime 性能。
• 基于拓扑结构使用状态空间的紧凑表示，避免对指数级状态空间进行完整枚举。
• 将动态扩展与 POMDP 规划相结合，以在时间上平衡解决方案质量和计算成本。

实验结果

研究问题

• RQ1 能否利用 POMDP 因子化动态中的拓扑结构，实现在传感不精确领域中的可扩展 anytime 规划？
• RQ2 如何在不枚举完整指数级状态空间的情况下，高效计算可达状态空间？
• RQ3 将规划限制在动态扩展的可达状态包络内，在多大程度上能保持解决方案质量？
• RQ4 随着状态变量数量的增加，该算法在性能和解决方案质量方面如何扩展？
• RQ5 该方法能否有效应用于具有高维、部分观测状态空间的真实问题，如智能辅导系统？

主要发现

• RAPID 以与状态变量数量成线性关系的时间计算出可达状态的初始包络，从而实现高效规划启动。
• 该算法成功地在有限且动态扩展的状态空间上进行规划，同时保持解决方案质量，并可扩展至大规模领域。
• 在拥有 122 个状态变量的辅导模拟中，RAPID 在超过 10^30 种可能状态的状态空间上运行，展示了其可扩展性。
• 该方法在大规模模拟中表现优异，相较于基线方法在解决方案质量和计算效率方面均表现更优。
• 与完整 POMDP 求解器相比，利用因子化动态模型中的拓扑结构显著降低了规划复杂度。
• RAPID 提供 anytime 性能，随着分配时间的增加，解决方案质量持续提升，适用于实时应用。