[论文解读] Shepherding Hordes of Markov Chains

Milan Češka, Nils Jansen+2 more|arXiv (Cornell University)|Jan 1, 2019

Formal Methods in Verification参考文献 41被引用 2

一句话总结

该论文提出了一种用于大规模马尔可夫链（MCs）族的可扩展合成抽象-精化框架，通过将族建模为马尔可夫决策过程（MDP）并应用迭代抽象以避免完整枚举。该方法在包含数百万个MCs的族上相比基线方法实现了高达1,000×的加速，尤其在阈值接近最优值时表现更优。

ABSTRACT

This paper considers large families of Markov chains (MCs) that are defined over a set of parameters with finite discrete domains. Such families occur in software product lines, planning under partial observability, and sketching of probabilistic programs. Simple questions, like `does at least one family member satisfy a property?', are NP-hard. We tackle two problems: distinguish family members that satisfy a given quantitative property from those that do not, and determine a family member that satisfies the property optimally, i.e., with the highest probability or reward. We show that combining two well-known techniques, MDP model checking and abstraction refinement, mitigates the computational complexity. Experiments on a broad set of benchmarks show that in many situations, our approach is able to handle families of millions of MCs, providing superior scalability compared to existing solutions.

研究动机与目标

• 解决马尔可夫链（MCs）族分析的计算不可行性问题，其中族的规模随参数呈指数级增长。
• 实现对可达概率和期望奖励等定量属性的高效可行性、阈值和最优合成。
• 通过引入轻量级、迭代式的抽象-精化方案，克服现有方法（如逐个分析和单体MDP）的局限性。
• 为软件产品线、部分可观测性下的规划以及概率程序合成等现实应用提供可扩展的解决方案。

提出的方法

• 将马尔可夫链族建模为单个MDP，其中初始状态非确定性地选择族中的一个成员，从而实现联合分析。
• 通过抽象掉族成员的选择，构建商MDP，将任何成员中可达的状态合并为单个代表性状态。
• 使用现成的MDP模型检测工具，计算所有族成员中最小/最大概率或奖励的下界和上界近似值。
• 应用迭代精化：当结果不明确时，基于调度器不一致性与MDP策略分析，将族划分为子族，避免重新计算全部内容。
• 利用MDP策略的轻量级分析指导划分决策，优先选择参数空间中更可能满足阈值的区域。
• 将该方法集成到Storm模型检测器中，支持符号化与显式状态空间探索，并利用高效的存储结构。

实验结果

研究问题

• RQ1 在包含数百万个成员的马尔可夫链族中，基于MDP表示的抽象-精化是否能显著降低分析的计算成本？
• RQ2 定量规范中的阈值如何影响精化迭代次数以及合成算法的整体性能？
• RQ3 在可扩展性和运行时间方面，该抽象-精化方案在多大程度上优于逐个分析和整体MDP方法？
• RQ4 在最优参数值对状态条件高度敏感的情况下，基于策略引导的精化在减少迭代次数方面有多高效？

主要发现

• 所提出的抽象-精化方法在包含数百万个马尔可夫链的族上，相比逐个分析和整体MDP分析，性能最高可提升1,000×。
• 精化迭代次数强烈依赖于阈值：越接近最优值的阈值所需迭代次数越少，性能表现更优。
• 商MDP表示相比整体MDP显著更紧凑，尤其在Maze和Pole等基准测试中，压缩率极高。
• 当阈值远离最优值时，性能下降，原因在于过度近似增加以及更多不明确的模型检测结果。
• 在调度器高度不一致的情况下（如Herman环基准测试），次优的划分策略会导致迭代次数增加，加速效果降低。
• 可行性合成（检查是否存在满足某个性质的成员）在抽象框架下表现最佳，因其最能从早期剪枝不可行子族中获益。