[论文解读] Systematic Evaluation and Usability Analysis of Formal Tools for Railway System Design

Alessio Ferrari, Franco Mazzanti+2 more|arXiv (Cornell University)|Jan 27, 2021

Model-Driven Software Engineering Techniques参考文献 105被引用 4

一句话总结

本文对13种用于铁路系统设计的正式工具进行了系统性评估，并对7种工具开展了涉及铁路从业者可用性研究。研究发现，尽管可用性和成熟度并非主要障碍，但对流程集成（如可追溯性与工具链互操作性）的支持不足是采纳的主要障碍，为工业界和工具开发者提供了实用且基于证据的指导。

ABSTRACT

Formal methods and supporting tools have a long record of success in the development of safety-critical systems. However, no single tool has emerged as the dominant solution for system design. Each tool differs from the others in terms of the modeling language used, its verification capabilities and other complementary features, and each development context has peculiar needs that require different tools. This is particularly problematic for the railway industry, in which formal methods are highly recommended by the norms, but no actual guidance is provided for the selection of tools. To guide companies in the selection of the most appropriate formal tools to adopt in their contexts, a clear assessment of the features of the currently available tools is required. To address this goal, this paper considers a set of 13 formal tools that have been used for railway system design, and it presents a systematic evaluation of such tools and a preliminary usability analysis of a subset of 7 tools, involving railway practitioners. The results are discussed considering the most desired aspects by industry and earlier related studies. While the focus is on the railway domain, the overall methodology can be applied to similar contexts. Our study thus contributes with a systematic evaluation of formal tools and it shows that despite the poor graphical interfaces, usability and maturity of the tools are not major problems, as claimed by contributions from the literature. Instead, support for process integration is the most relevant obstacle for the adoption of most of the tools.

研究动机与目标

• 为铁路公司在选择用于安全关键系统开发的正式工具时提供指导，以解决当前缺乏指导的现状。
• 基于与工业相关的功能，对13种在铁路系统设计中使用的正式工具进行系统性评估。
• 通过铁路从业者参与，对7种工具开展初步可用性分析，以评估其在实际开发环境中的可用性。
• 识别采纳的主要障碍，并为从业者、研究人员和工具开发者提供可操作的见解。
• 公开分享评估表和可用性数据，以支持复现、扩展及知情决策。

提出的方法

• 改编DESMET方法论以定义工具评估的全面特征集，通过正式方法与铁路领域专家的专家头脑风暴，确定了27项评估特征。
• 通过文档分析、现场试用和迭代三角验证，由三位评估员对13种工具进行评估，以确保特征评估的一致性与可靠性。
• 通过结构化现场演示和标准化问卷，对7种工具开展铁路从业者可用性研究，以评估其感知可用性。
• 采用权衡方法，在专家洞察与学习复杂正式工具所需时间之间取得平衡，确保研究的实际相关性。
• 公开分享详细的评估表、特征定义和可用性数据，以实现透明度、可复现性及未来扩展。
• 将评估框架与行业标准（如CENELEC EN 50128）以及先前对铁路从业者调查中识别的需求保持一致。

实验结果

研究问题

• RQ1 当前可用于铁路系统设计的正式工具的关键功能与能力是什么？
• RQ2 从铁路从业者视角来看，这些工具在实际开发环境中的可用性如何？
• RQ3 根据从业者和评估者的反馈，铁路行业中正式工具采纳的主要障碍是什么？
• RQ4 基于实证证据，正式工具的可用性和成熟度在多大程度上构成采纳障碍？
• RQ5 评估框架与数据在工业环境中如何用于指导工具选择与改进？

主要发现

• 在评估的13种正式工具中，大多数已成熟且广泛使用，具备强大的验证能力与工业适用性。
• 尽管图形用户界面有限，但根据从业者反馈，工具的可用性平均评分为“尚可”至“良好”，表明可用性并非采纳的主要障碍。
• 采纳的最大障碍在于对流程集成支持不足，特别是可追溯性、版本控制以及与现有开发工作流的集成能力。
• 研究未发现正式工具的数学复杂性会固有地限制其可学习性，因为从业者报告称，在适当培训下学习曲线是可管理的。
• 工具认证与资质并非关键障碍，因为铁路系统通常在未使用正式工具的情况下也能获得认证，且形式化方法的成本效益分析显示其在减少测试方面具有实际效益。
• 公开的评估数据（包括详细的工具表和可用性结果）为工业界与研究社区提供了透明、最新的资源，可用于指导工具选择与开发。