[论文解读] Raw Report on the Model Checking Contest at Petri Nets 2012

Fabrice Kordon, Alban Linard+12 more|arXiv (Cornell University)|Sep 8, 2012

Formal Methods in Verification参考文献 40被引用 9

一句话总结

本文展示了在 Petri Nets 2012 上举办的第二届模型检测竞赛的原始结果，评估了 15 个工具在 19 个佩特里网模型上的状态空间生成与公式评估任务。竞赛使用了带有缩放参数的标准 PNML 模型来评估工具性能，揭示了在可扩展性及公式处理方面存在显著差异，尤其是在可达性与结构性公式的评估中，状态空间生成比公式评估更为可靠，原因在于集成与语法方面的挑战。

ABSTRACT

This article presents the results of the Model Checking Contest held at Petri Nets 2012 in Hambourg. This contest aimed at a fair and experimental evaluation of the performances of model checking techniques applied to Petri nets. This is the second edition after a successful one in 2011. The participating tools were compared on several examinations (state space generation and evaluation of several types of formulae - structural, reachability, LTL, CTL) run on a set of common models (Place/Transition and Symmetric Petri nets). After a short overview of the contest, this paper provides the raw results from the context, model per model and examination per examination.

研究动机与目标

• 为佩特里网模型检测技术在多种工具与模型上的公平实验评估提供支持。
• 识别哪些验证技术能随着模型规模与结构复杂度的增加而有效扩展。
• 通过带有缩放参数的 PNML 格式模型建立标准化基准测试框架。
• 评估工具在结构性、可达性、LTL 和 CTL 公式评估中的表现。
• 通过共享的、可复现的评估流程，提升工具互操作性与社区范围内的基准测试能力。

提出的方法

• 竞赛使用了 19 个标准化的佩特里网模型，以 PNML 格式提供，其中包括 12 个通过社区公开征集基准测试而提交的新模型。
• 模型包含缩放参数，用于生成不同规模的状态空间，从而实现在不同尺度下的性能分析。
• 工具在统一的集群执行环境中，针对状态空间生成、结构性公式评估与可达性公式评估进行评估。
• 提供了虚拟机镜像，以确保在不同平台上实现一致的工具集成与执行。
• 结果以原始形式收集并报告，未作解释，包括雷达图、执行时间数据与公式处理比率。
• 评估过程包括预安装的磁盘镜像，供工具开发者测试集成，同时定义了公式规范的语法，但因发布延迟导致问题。

实验结果

研究问题

• RQ1 在不同规模的佩特里网模型中，哪些模型检测工具在状态空间生成任务上表现最佳？
• RQ2 不同验证技术（如对称性约简、部分序约简、决策图）如何随模型规模与结构的变化而扩展？
• RQ3 在标准化基准测试环境中，工具在处理复杂结构性与可达性公式方面的能力如何？
• RQ4 在工具集成与公式规范方面，存在哪些主要挑战，导致跨工具评估的一致性受阻？
• RQ5 如何改进由社区驱动的、可复现的佩特里网模型检测基准测试框架，以用于未来版本？

主要发现

• 状态空间生成检查产生了可靠且可解释的结果，LoLa 和 Helena 等工具在多个模型中表现出色。
• 可达性公式评估揭示了工具间显著的性能差异，其中 LoLa-binstore 和 LoLa-bloom 处理的公式数量多于其他工具，但无一工具完成全部公式集。
• AlPiNA 和 Helena 能处理 simple_lbs 的公式，但在更复杂的模型（如 railroad）中失败，表明其可扩展性存在局限。
• 无任何工具参与 LTL 和 CTL 公式评估检查，凸显了工具集成与公式语法标准化方面的重大挑战。
• 竞赛识别出公式语法发布时机过晚以及模型-工具集成复杂性等关键问题，为此提出了未来版本的改进建议。
• 使用预安装磁盘镜像与标准化 PNML 模型改善了工具集成，但公式处理中的命名与配置问题依然存在。