[论文解读] Some approximations in Model Checking and Testing

Marie-Claude Gaudel, Richard Lassaigne+2 more|arXiv (Cornell University)|Apr 16, 2013

Formal Methods in Verification参考文献 96被引用 3

一句话总结

本文提出了一种统一框架，用于模型检测与测试中的近似技术，结合逻辑、统计学与复杂性理论，实现系统属性的高效、概率性保证的验证。该框架引入了有界模型检查、近似模型检查、概率抽象及随机近似方案等方法，确保在多项式时间或常数时间内完成验证，且误差有界，尤其适用于EPF片段中的LTL公式。

ABSTRACT

Model checking and testing are two areas with a similar goal: to verify that a system satisfies a property. They start with different hypothesis on the systems and develop many techniques with different notions of approximation, when an exact verification may be computationally too hard. We present some notions of approximation with their logic and statistics backgrounds, which yield several techniques for model checking and testing: Bounded Model Checking, Approximate Model Checking, Approximate Black-Box Checking, Approximate Model-based Testing and Approximate Probabilistic Model Checking. All these methods guarantee some quality and efficiency of the verification.

研究动机与目标

• 通过引入系统化的近似技术，解决精确模型检查与测试的计算不可行性问题。
• 在逻辑与统计学的共同理论基础之上，统一模型检查与测试中多样化的近似方法。
• 为近似方法的质量与效率提供形式化保证，尤其针对概率性与时序逻辑属性。
• 探索验证任务中计算效率与近似精度之间的权衡。
• 通过随机化与基于抽象的近似方法，实现对大规模或无限状态系统的可扩展验证。

提出的方法

• 使用有界模型检查（BMC）将路径探索限制在有限长度，将问题简化为多项式复杂度的SAT求解。
• 应用蒙特卡洛方法与随机近似方案（RAS），以乘法误差界估计LTL公式满足的概率。
• 利用广义零一估计定理推导出最优近似算法（OAA），确保以高概率实现对期望值的(ε,δ)-近似。
• 引入属性测试与统计学习技术，以与系统规模无关的复杂度近似模型-属性等价性与输入覆盖度。
• 利用概率抽象与编辑距离度量，在精确计算不可行时近似模型检查结果。
• 结合基于学习的模型重建与模型检查，实现对未知系统的近似黑盒检查。

实验结果

研究问题

• RQ1 如何在逻辑与统计学的形式化基础上，为模型检查与测试中的近似技术提供理论支撑，以同时保证效率与精度？
• RQ2 随机近似方案在验证具有LTL属性的概率系统时，其理论极限与保证为何？
• RQ3 模型抽象与学习在黑盒检查与基于模型的测试中，如何用于近似系统行为？
• RQ4 如何在保持近似中误差有界的前提下，降低验证的复杂度？
• RQ5 能否将多种近似技术（如有界检查、概率抽象与统计学习）结合，以提升可扩展性与精度？

主要发现

• 最优近似算法（OAA）可对EPF片段中LTL公式的满足概率实现(ε,δ)-近似，所需实验次数与Γ/μ成正比，其中Γ依赖于ε与δ。
• 对于满足概率较小的系统（μ → 0），期望实验次数可能呈指数增长，表明RAS方法在该类情况下的局限性。
• OAA算法的不动点迭代提供了一种全LTL概率问题的随机近似方案，确保收敛至(ε,δ)-近似结果。
• 基于蒙特卡洛方法的近似模型检查实现与模型规模成多项式时间复杂度，误差界取决于采样路径数量。
• 基于属性测试的近似模型检查方法实现与系统规模无关的复杂度，仅依赖于近似参数ε。
• 基于学习技术的近似黑盒检查可保证：在N次采样后，重构模型与真实IUT之间的距离在ε以内，其中N仅依赖于ε与δ，与系统规模无关。