[论文解读] Verifying Complex Systems Probabilistically through Learning, Abstraction and Refinement.

Jingyi Wang, Jun Sun+1 more|arXiv (Cornell University)|Oct 20, 2016

Formal Methods in Verification被引用 5

一句话总结

本文提出LAR，一种用于复杂系统的概率验证方法，该方法从系统轨迹中学习模型，而非依赖精确的前期建模。通过结合学习、抽象与精炼，LAR生成具有置信度边界的反例，或生成作为属性验证证明义务的概率模型，评估结果表明其在基准测试和真实世界水净化系统中的有效性。

ABSTRACT

Precisely modeling complex systems like cyber-physical systems is often challenging, which may render model-based system verification techniques like model checking infeasible. To overcome this challenge, we propose a method called LAR to `verify' such complex systems through a combination of learning, abstraction and refinement. Instead of starting with system modeling, our method takes a set of concrete system traces as input. The output is either a counterexample with a bounded probability of being a spurious counterexample, or a probabilistic model based on which the given property is `verified'. The model could be viewed as a proof obligation, i.e., the property is verified if the model is correct. It can also be used for subsequent system analysis activities like runtime monitoring. Our method has been implemented as a self-contained software toolkit. The evaluation on multiple benchmark systems as well as a real-world water purification system show promising results.

研究动机与目标

• 为解决在精确建模不切实际的情况下验证复杂信息物理系统所面临的挑战。
• 通过直接从轨迹中学习系统行为，减少对人工且易出错的系统建模的依赖。
• 提供一个概率验证框架，以限制虚假反例的风险。
• 通过生成可靠的概率模型，支持后续分析任务（如运行时监控）。
• 通过在真实世界系统和基准系统上的评估，证明方法的实际适用性。

提出的方法

• 该方法以一组具体的系统轨迹作为输入，无需显式系统建模。
• 利用学习技术从观测到的轨迹中推断出概率模型。
• 应用抽象技术简化模型，同时保留相关的行为属性。
• 通过聚焦于差异点，迭代改进模型和反例质量。
• 在反馈回路中整合学习、抽象与精炼，以提升验证置信度。
• 输出结果为具有虚假反例概率边界的反例，或作为属性验证证明义务的概率模型。

实验结果

研究问题

• RQ1 是否可以在无需精确手工编写模型的情况下验证系统？
• RQ2 如何将从系统轨迹中学习与抽象及精炼相结合，以提高验证的可靠性？
• RQ3 在实际应用中，可以容忍的虚假反例的最大概率是多少？
• RQ4 所推断的概率模型是否可用于后续的系统分析任务（如运行时监控）？
• RQ5 该方法在真实世界复杂系统（如信息物理系统）上的有效性如何？

主要发现

• LAR方法仅使用系统轨迹成功验证了系统属性，消除了对详细建模的需求。
• 该方法生成的反例具有虚假反例概率的边界，从而提供了结果的置信度。
• 所生成的概率模型可作为证明义务，支持进一步分析与验证。
• 在基准系统上的评估表明该方法具有可行性与可扩展性。
• 对一个真实世界水净化系统的成功分析，证实了该方法的实际适用性。