[论文解读] Parameter Synthesis for Markov Models: Faster Than Ever

Tim Quatmann, Christian Dehnert+3 more|arXiv (Cornell University)|Feb 16, 2016

Formal Methods in Verification参考文献 16被引用 6

一句话总结

本文提出参数提升（parameter lifting）这一新颖技术，用于参数化马尔可夫链与马尔可夫决策过程（MDPs）中的参数综合，通过将参数化转移替换为参数函数在定义域上极值值的非确定性选择，实现对参数空间中可达概率的紧致下界与上界高效计算。该方法利用现成的验证工具分析所得无参数模型，实现数量级的速度提升，并可扩展至数百万状态及复杂参数依赖关系，为参数化MDPs提供了首个可靠且可行的参数综合方法。

ABSTRACT

We propose a simple technique for verifying probabilistic models whose transition probabilities are parametric. The key is to replace parametric transitions by nondeterministic choices of extremal values. Analysing the resulting parameter-free model using off-the-shelf means yields (refinable) lower and upper bounds on probabilities of regions in the parameter space. The technique outperforms the existing analysis of parametric Markov chains by several orders of magnitude regarding both run-time and scalability. Its beauty is its applicability to various probabilistic models. It in particular provides the first sound and feasible method for performing parameter synthesis of Markov decision processes.

研究动机与目标

• 为解决现有参数化模型检测技术在大规模模型与复杂参数依赖关系下所面临的严重可扩展性限制。
• 为参数化马尔可夫决策过程（MDPs）提供一种可靠且高效的参数综合方法，该问题此前因先前方法中存在不可靠启发式策略而难以解决。
• 实现对具有多仿射多项式参数的 probabilistic 系统参数空间的高覆盖率分析（≥95%），尤其适用于参数间存在依赖关系的模型。
• 通过以数值验证松弛模型替代符号运算与SMT求解，克服现有工具中在有理函数计算与SMT求解方面的计算不可行性。
• 证明对非确定性松弛模型进行数值验证，可在不牺牲正确性的前提下，获得精确且可细化的参数空间区域边界。

提出的方法

• 将马尔可夫模型中的每个参数化转移替换为参数函数在其定义域上最小值与最大值之间的非确定性选择，从而构建一个松弛的无参数模型。
• 通过为每个状态引入一个新参数，并将概率选择替换为极值非确定性选择，构建一个无参数MDP（或MDPs的双人随机博弈）。
• 在松弛模型上应用标准数值算法（如值迭代或策略迭代），以计算参数空间上可达概率的最小值与最大值。
• 利用所得边界对参数空间区域进行分类：安全、不安全或未决，通过区域分割实现细化以提高覆盖率。
• 利用多仿射多项式的结构特性以确保正确性与效率，因为此类函数在实际基准测试中极为常见。
• 在未决区域的角点处进行采样，以估计近似误差并提升分类准确性。

实验结果

研究问题

• RQ1 能否开发一种可扩展至含数百万状态与数十个相关参数的模型、同时保持可靠与高效性的参数综合技术？
• RQ2 是否可通过以非确定性极值选择替代参数化选择，避免有理函数的符号计算与SMT求解？
• RQ3 所生成的无参数模型能否通过现成的数值算法高效验证，从而在参数空间上获得紧致且可细化的边界？
• RQ4 在实际应用中，该方法的参数空间覆盖率（安全/不安全区域）与现有基于SMT与采样方法相比如何？
• RQ5 该方法的性能在多大程度上依赖于参数数量、状态空间大小与图结构？

主要发现

• 参数提升方法在两参数模型中，四分钟内实现至少95%的参数空间覆盖率，显著优于现有技术。
• 在两参数基准测试中，该方法在四分钟内将超过94%的参数空间分类为安全或不安全，且运行时间对参数数量的依赖极小。
• 该方法可扩展至含数百万状态与数千个参数化转移的模型，相较于状态消除与基于SMT的方法，实现数量级的速度提升。
• 该方法为参数化MDPs的参数综合提供了首个可靠且可行的解决方案，克服了先前不可靠启发式方法的局限性。
• 运行时间主要受状态数量与图结构影响，而非参数数量，结合智能区域选择策略后，适用于高维参数空间。
• 近似误差较低，且主要源于区域选择而非方法本身固有的过度近似，该结论已通过在角点处采样得到验证。