[论文解读] Symbolic Algorithms for Qualitative Analysis of Markov Decision Processes with Büchi Objectives

Krishnendu Chatterjee, Monika Henzinger+2 more|arXiv (Cornell University)|Apr 17, 2011

Formal Methods in Verification参考文献 14被引用 8

一句话总结

本文提出了用于计算具有Büchi目标的马尔可夫决策过程（MDPs）中几乎必然获胜集合的符号算法，引入了一种时间复杂度为 $O(n\cdot\sqrt{m})$ 的亚二次符号算法——优于先前的 $O(n^2)$ 上界——并提出了一种新颖的赢-输算法，该算法以增量方式在 $O(n\cdot\sqrt{K})$ 步内计算获胜集合，其中 $K$ 是任意强连通分量中边的最大数量。此外，还通过将最坏情况下的符号步骤数从 $5n$ 降低至 $4n$，改进了符号强连通分量（SCC）分解。

ABSTRACT

We consider Markov decision processes (MDPs) with ω-regular specifications given as parity objectives. We consider the problem of computing the set of almost-sure winning states from where the objective can be ensured with probability 1. The algorithms for the computation of the almost-sure winning set for parity objectives iteratively use the solutions for the almost-sure winning set for Büchi objectives (a special case of parity objectives). Our contributions are as follows: First, we present the first subquadratic symbolic algorithm to compute the almost-sure winning set for MDPs with Büchi objectives; our algorithm takes O(n \sqrt{m}) symbolic steps as compared to the previous known algorithm that takes O(n^2) symbolic steps, where $n$ is the number of states and $m$ is the number of edges of the MDP. In practice MDPs have constant out-degree, and then our symbolic algorithm takes O(n \sqrt{n}) symbolic steps, as compared to the previous known $O(n^2)$ symbolic steps algorithm. Second, we present a new algorithm, namely win-lose algorithm, with the following two properties: (a) the algorithm iteratively computes subsets of the almost-sure winning set and its complement, as compared to all previous algorithms that discover the almost-sure winning set upon termination; and (b) requires O(n \sqrt{K}) symbolic steps, where K is the maximal number of edges of strongly connected components (scc's) of the MDP. The win-lose algorithm requires symbolic computation of scc's. Third, we improve the algorithm for symbolic scc computation; the previous known algorithm takes linear symbolic steps, and our new algorithm improves the constants associated with the linear number of steps. In the worst case the previous known algorithm takes 5n symbolic steps, whereas our new algorithm takes 4n symbolic steps.

研究动机与目标

• 开发用于具有Büchi目标的MDPs定性分析的高效符号算法，这是概率验证中的核心问题。
• 降低计算几乎必然获胜集合的符号复杂度，该集合在理论分析与实际验证流程中均至关重要。
• 提出一种新型算法范式——赢-输算法，该算法以增量方式发现获胜状态，与以往仅在终止时返回完整集合的方法不同。
• 通过将最坏情况下的符号步骤数从 $5n$ 降低至 $4n$，改进符号强连通分量（SCC）分解，后者是MDP分析中的基础构建模块。
• 在合成MDP上对新算法进行实验验证，结果表明其在性能上显著优于经典方法与先前的符号方法。

提出的方法

• 提出一种用于具有Büchi目标的MDPs中几乎必然获胜集合计算的符号亚二次算法，实现 $O(n\cdot\sqrt{m})$ 个符号步骤。
• 引入赢-输算法，该算法迭代计算几乎必然获胜集合及其补集的子集，从而实现在执行过程中早期检测获胜状态。
• 将符号SCC分解作为原 primitive，并利用一种新算法将其最坏情况下的符号步骤数从 $5n$ 降低至 $4n$。
• 使用标准符号数据结构设计并实现符号算法，避免显式的状态枚举。
• 采用结构化随机MDP生成方法，以避免平凡图，确保有意义的性能评估。
• 在具有不同状态数的合成基准上，将新算法与经典方法及先前的符号算法进行对比。

实验结果

研究问题

• RQ1 是否能够以亚二次符号步骤数计算具有Büchi目标的MDPs中的几乎必然获胜集合？
• RQ2 是否可以设计一种符号算法，以增量方式识别获胜状态，而非仅在终止时输出？
• RQ3 是否能够改进符号SCC分解，以降低最坏情况符号步骤数的常数因子？
• RQ4 新算法在实践中是否展现出相对于经典方法与先前符号算法的显著性能提升？
• RQ5 赢-输算法在执行过程中逐步发现获胜状态的特性，在真实世界的验证工作负载中是否具有实际优势？

主要发现

• 所提出的符号算法以 $O(n\cdot\sqrt{m})$ 个符号步骤计算几乎必然获胜集合，相比先前的 $O(n^2)$ 上界有显著改进。
• 对于出度为常数的MDPs，新算法的运行时间为 $O(n\cdot\sqrt{n})$，而之前的方法为 $O(n^2)$。
• 赢-输算法需要 $O(n\cdot\sqrt{K})$ 个符号步骤，其中 $K$ 是任意强连通分量中的最大边数，且在执行过程中逐步揭示获胜状态。
• 新符号SCC分解算法将最坏情况下的符号步骤数从 $5n$ 降低至 $4n$，常数因子改善了20%。
• 实验结果表明，新算法所需的符号步骤数和运行时间均显著减少：在20,000个状态时，经典算法需要约30.6万步，而最佳新算法仅需约1.37万步。
• 运行时间的提升也极为显著：在20,000个状态时，经典算法耗时约3,974秒，而最佳新算法仅需约217秒。