[论文解读] Towards a Benchmark and a Comparison Framework for Combinatorial Interaction Testing of Software Product Lines

Roberto E. Lopez-Herrejon, Javier Ferrer+4 more|arXiv (Cornell University)|Jan 21, 2014

Advanced Software Engineering Methodologies参考文献 27被引用 10

一句话总结

本文提出了一个包含19个特征模型的基准，用于软件产品线（SPLs）中的组合交互测试（CIT），并使用三种CIT算法——CASA、ICPL和PGS，评估了Perrouin等人提出的比较框架。主要贡献在于识别出现有框架的局限性，特别是相似性度量忽略了未选择的特性，以及元组频率缺乏聚合清晰性；同时表明CASA生成的测试套件最小，ICPL速度最快且产品差异性最高。

ABSTRACT

As Software Product Lines (SPLs) are becoming a more pervasive development practice, their effective testing is becoming a more important concern. In the past few years many SPL testing approaches have been proposed, among them, are those that support Combinatorial Interaction Testing (CIT) whose premise is to select a group of products where faults, due to feature interactions, are more likely to occur. Many CIT techniques for SPL testing have been put forward; however, no systematic and comprehensive comparison among them has been performed. To achieve such goal two items are important: a common benchmark of feature models, and an adequate comparison framework. In this research-in-progress paper, we propose 19 feature models as the base of a benchmark, which we apply to three different techniques in order to analyze the comparison framework proposed by Perrouin et al. We identify the shortcomings of this framework and elaborate alternatives for further study.

研究动机与目标

• 建立一个标准化的特征模型基准，用于系统评估软件产品线（SPLs）中组合交互测试（CIT）技术。
• 评估Perrouin等人提出的比较框架在评估SPLs中CIT算法时的有效性与有效性。
• 识别现有比较度量的不足之处，特别是相似性和元组频率度量，以指导未来改进。
• 通过整合更多特征模型并优化选择标准，为未来研究奠定基础。

提出的方法

• 作者整理了19个具有多样性的特征模型，作为SPL测试的标准化基准，涵盖各种结构复杂性。
• 他们将该基准应用于评估三种CIT算法：CASA、ICPL和PGS，重点聚焦于配对测试。
• 使用Perrouin等人提出的比较框架，该框架基于三个指标评估算法：大小（测试套件规模）、性能（执行时间）和相似性（产品差异性）。
• 元组频率通过以下公式计算：$ \frac{1}{|TS|} \sum_{ts \in TS} \frac{ocurrence(ts,tCA)}{|tCA|} $，即每个t-set在测试用例中出现次数的平均值。
• 使用$ \hat{A}_{12} $非参数检验评估差异的统计显著性，以比较基准下各算法的表现。
• 理论分析表明，平均元组频率仅取决于特征总数和有效t-set数量，与特定特征模型结构无关。

实验结果

研究问题

• RQ1 Perrouin等人提出的比较框架在评估SPLs中CIT算法时的有效性如何？
• RQ2 该框架的相似性度量在处理未选择特征时存在哪些局限性？
• RQ3 元组频率度量作为聚合度量在不同算法间的表现如何？
• RQ4 哪种CIT算法生成的测试套件最小、执行速度最快、产品差异性最大？
• RQ5 该基准模型在多大程度上反映了现实世界SPL的复杂性与变异性？

主要发现

• CASA在所有特征模型中均生成了最小的测试套件，表明其在测试用例压缩方面具有高效率。
• ICPL在执行时间方面是最快的算法，表现出卓越的测试生成性能。
• ICPL还通过相似性度量生成了差异性最大的产品，表明其能更好地覆盖多样的特征组合。
• Perrouin框架中的相似性度量未考虑产品中未选择的特征，可能导致比较结果出现偏差或误导。
• 元组频率度量作为聚合度量缺乏清晰性，因其仅按元组定义，且在不同测试套件间无法保持一致的可解释性。
• 理论分析证实，平均元组频率仅取决于特征总数和有效t-set数量，与特定模型结构无关。