[论文解读] Symbolic Generalization for On-line Planning

Zhengzhu Feng, Eric A. Hansen+1 more|arXiv (Cornell University)|Oct 19, 2012

Formal Methods in Verification参考文献 20被引用 39

一句话总结

本文提出了符号实时动态规划（sRTDP），一种在线规划算法，利用符号模型检测技术将经验泛化到状态组而非单个状态。通过基于启发式方法动态分组状态，sRTDP 显著减少了马尔可夫决策过程中的计算时间与收敛所需的现实世界交互次数。

ABSTRACT

Symbolic representations have been used successfully in off-line planning algorithms for Markov decision processes. We show that they can also improve the performance of on-line planners. In addition to reducing computation time, symbolic generalization can reduce the amount of costly real-world interactions required for convergence. We introduce Symbolic Real-Time Dynamic Programming (or sRTDP), an extension of RTDP. After each step of on-line interaction with an environment, sRTDP uses symbolic model-checking techniques to generalizes its experience by updating a group of states rather than a single state. We examine two heuristic approaches to dynamic grouping of states and show that they accelerate the planning process significantly in terms of both CPU time and the number of steps of interaction with the environment.

研究动机与目标

• 通过减少对单个状态更新的依赖，提升马尔可夫决策过程（MDPs）中在线规划的效率。
• 减少实际规划场景中实现收敛所需的现实世界交互次数。
• 通过模型检测技术扩展实时动态规划（RTDP）的符号泛化能力。
• 评估启发式方法在动态分组状态中的应用，以提升规划速度与可扩展性。

提出的方法

• 在每次环境交互后，通过符号化方式更新状态组而非单个状态，扩展 RTDP 算法。
• 采用符号模型检测技术，利用二叉决策图（BDDs）高效表示和操作状态集合。
• 应用两种启发式方法，根据价值函数或转移结构的相似性动态分组状态。
• 利用符号泛化在整组状态上传播价值更新，减少冗余计算。
• 将符号抽象集成到在线规划中，在保持实时响应能力的同时提升收敛性能。

实验结果

研究问题

• RQ1 符号泛化能否提升 MDP 中在线规划算法的性能？
• RQ2 动态状态分组启发式方法如何影响在线规划中的收敛速度与交互成本？
• RQ3 符号模型检测在多大程度上可减少 RTDP 中的计算时间与现实世界交互次数？
• RQ4 符号泛化在加速规划的同时是否保持了解决方案的质量？

主要发现

• 与标准 RTDP 相比，sRTDP 通过在状态组间泛化更新，显著降低了 CPU 时间。
• 由于符号泛化，实现收敛所需的环境交互次数大幅减少。
• 基于两种启发式的动态分组方法加速了规划过程，其中一种在速度与交互减少方面表现更优。
• 符号泛化在保持解决方案质量的同时，实现了复杂 MDP 中可扩展的在线规划。