[论文解读] Mutation-driven Test Case Generation Using Short-lived Concurrent Mutants -- First Results

Willibald Krenn, Rupert Schlick|arXiv (Cornell University)|Jan 26, 2016

Software Testing and Debugging Techniques参考文献 2被引用 3

一句话总结

本文提出 MoMuT::UML，一种可扩展的、基于变异的 UML 模型测试用例生成工具，通过利用短期并发变异体和基于搜索的策略，高效生成测试用例。该工具成功处理了工业规模的模型——最多达 2800 个交互式状态机，证明了其在复杂系统（如奥地利国家铁路网络）中的可行性。

ABSTRACT

In the context of black-box testing, generating test cases through model mutation is known to produce powerful test suites but usually has the drawback of being prohibitively expensive. This paper presents a new version of the tool MoMuT::UML (www.momut.org), which implements a scalable version of mutation-driven test case generation (MDTCG). It is able to handle industrial-sized UML models comprising networks of, e.g., 2800 interacting state machines. To achieve the required scalability, the implemented algorithm exploits the concurrency in MDTCG and combines it with a search based generation strategy. For evaluation, we use seven case studies of different application domains with an increasing level of difficulty, stopping at a model of a railway station in Austria's national rail network.

研究动机与目标

• 为解决黑盒测试中变异驱动测试用例生成（MDTCG）的高计算成本问题。
• 实现在包含数千个交互组件的工业规模 UML 模型上的 MDTCG。
• 开发一种结合并发与基于搜索策略的可扩展算法，以实现高效的测试生成。
• 在日益复杂的现实世界案例研究中评估该方法，最终应用于奥地利国家铁路网络的铁路车站模型。

提出的方法

• 该方法利用短期并发变异体，以减少传统 MDTCG 方法的计算开销。
• 通过基于搜索的策略引导测试用例生成，以提高有效变异体检测的效率。
• 该算法设计用于在包含最多 2800 个交互式状态机的大型 UML 模型中实现可扩展性。
• 通过利用并发机制并行执行多个变异体评估，从而提升性能。
• 实现了工具 MoMuT::UML，以支持工业规模模型的分析与测试用例生成。
• 该方法在七个涵盖不同领域的案例研究中进行评估，复杂度逐步提升。

实验结果

研究问题

• RQ1 变异驱动测试用例生成能否扩展至处理包含数千个组件的工业规模 UML 模型？
• RQ2 短期并发变异体在降低 MDTCG 计算成本方面的有效性如何？
• RQ3 基于搜索的策略在大型模型中能多大程度上提升变异体检测的效率与效果？
• RQ4 所提出的方法能否为复杂现实系统（如铁路控制系统）生成有意义的测试套件？

主要发现

• MoMuT::UML 能够成功为最多包含 2800 个交互式状态机的 UML 模型生成测试用例，证明了其在工业规模下的可扩展性。
• 与传统 MDTCG 方法相比，使用短期并发变异体显著降低了时间和资源开销。
• 集成基于搜索的策略在不牺牲变异体检测覆盖率的前提下，提高了测试生成的效率。
• 该工具在奥地利国家铁路网络的真实铁路车站模型上得到验证，证实其适用于复杂的安全关键系统。
• 该方法使此前被认为过大而无法应用此类技术的模型实现了实际的 MDTCG。
• 结果表明，通过结合并发机制与智能搜索策略，可在变异驱动测试中实现可扩展性与有效性。