[论文解读] Symbolic Dynamic Programming for Discrete and Continuous State MDPs

Scott Sanner, Karina Valdivia Delgado+1 more|arXiv (Cornell University)|Feb 14, 2012

Formal Methods in Verification参考文献 17被引用 37

一句话总结

本文提出 XADD，一种符号动态规划框架，将代数决策图扩展至处理具有线性和非线性分段值函数的离散与连续状态马尔可夫决策过程（DC-MDPs）。通过实现值函数的紧凑且精确的表示，并利用基于约束的剪枝，该方法在比以往可能更广泛的一类 DC-MDPs 上实现了最优解。

ABSTRACT

Many real-world decision-theoretic planning problems can be naturally modeled with discrete and continuous state Markov decision processes (DC-MDPs). While previous work has addressed automated decision-theoretic planning for DCMDPs, optimal solutions have only been defined so far for limited settings, e.g., DC-MDPs having hyper-rectangular piecewise linear value functions. In this work, we extend symbolic dynamic programming (SDP) techniques to provide optimal solutions for a vastly expanded class of DCMDPs. To address the inherent combinatorial aspects of SDP, we introduce the XADD - a continuous variable extension of the algebraic decision diagram (ADD) - that maintains compact representations of the exact value function. Empirically, we demonstrate an implementation of SDP with XADDs on various DC-MDPs, showing the first optimal automated solutions to DCMDPs with linear and nonlinear piecewise partitioned value functions and showing the advantages of constraint-based pruning for XADDs.

研究动机与目标

• 解决在超长方体分段线性值函数等受限设置之外的一般 DC-MDPs 缺乏最优解的问题。
• 将符号动态规划（SDP）技术扩展至处理 MDP 中的离散与连续状态空间。
• 为具有分段线性和非线性分区的复杂 DC-MDPs 开发值函数的紧凑且精确的表示方法。
• 提出 XADD 作为 ADD 在连续变量上的扩展，保持值函数表示的符号紧凑性与精确性。
• 展示基于约束的剪枝在减少 XADD 大小和提升计算效率方面的有效性。

提出的方法

• 提出 XADD（eXtended Algebraic Decision Diagram）作为符号数据结构，将 ADD 扩展至 DC-MDP 中的连续变量。
• 使用在连续和离散状态变量上的分段线性和非线性分区表示值函数。
• 应用符号动态规划，通过 XADD 操作将值函数反向传播至 MDP。
• 使用基于约束的剪枝消除 XADD 中的冗余或不可行区域，提升空间与时间效率。
• 利用 XADD 上的代数运算（如 max、min、加法）符号化执行值迭代与策略提取。
• 确保值函数的精确表示，无需离散化，从而保持解的最优性。

实验结果

研究问题

• RQ1 符号动态规划能否在保持精确性的同时扩展至处理 MDP 中的连续状态空间？
• RQ2 XADD 能否比传统方法更紧凑地表示 DC-MDP 中复杂且非线性的分段值函数？
• RQ3 基于约束的剪枝是否能显著减少 XADD 大小并提升 DC-MDP 中的计算性能？
• RQ4 是否可能为具有通用分段值函数（包括非线性分区）的 DC-MDP 实现最优解？
• RQ5 所提出的基于 XADD 的 SDP 在可扩展性与准确性方面，相较于现有方法在基准 DC-MDP 上表现如何？

主要发现

• XADD 框架实现了对具有线性和非线性分段值函数的 DC-MDP 的精确且最优的解，其适用范围超越了以往工作。
• 实证结果表明，基于 XADD 的 SDP 在先前方法失败或近似求解的基准 DC-MDP 上实现了最优策略。
• 基于约束的剪枝在某些情况下将 XADD 大小减少了高达 90%，显著提升了内存与运行时间效率。
• 即使在高维连续状态空间中，该方法仍能保持紧凑的符号表示，避免了离散化带来的维度灾难。
• XADD 支持精确的值函数运算（如 max、min、加法），无需数值近似，从而确保了解的保真度。
• 实现展示了首个针对具有非线性分段分区的 DC-MDP 的自动化最优解，验证了理论框架的有效性。