[论文解读] Suggestions on Test Suite Improvements with Automatic Infection and Propagation Analysis

Oscar Luis Vera-Pérez, Benjamin Danglot+2 more|arXiv (Cornell University)|Sep 10, 2019

Software Testing and Debugging Techniques参考文献 26被引用 6

一句话总结

该论文提出 Reneri，一种通过分析测试执行期间状态变化的感染与传播来自动诊断 Java 程序中未检测到的极端代码转换的工具。它识别根本原因——测试输入不足、感染传播失败或弱断言——并生成可操作的、自然语言的建议以改进测试套件，其中 63% 的未检测到转换由可观测性问题引起，且开发者反馈确认了建议的相关性。

ABSTRACT

An extreme transformation removes the body of a method that is reached by one test case at least. If the test suite passes on the original program and still passes after the extreme transformation, the transformation is said to be undetected, and the test suite needs to be improved. In this work we propose a technique to automatically determine which of the following three reasons prevent the detection of the extreme transformation is : the test inputs are not sufficient to infect the state of the program; the infection does not propagate to the test cases; the test cases have a weak oracle that does not observe the infection. We have developed Reneri, a tool that observes the program under test and the test suite in order to determine runtime differences between test runs on the original and the transformed method. The observations gathered during the analysis are processed by Reneri to suggest possible improvements to the developers. We evaluate Reneri on 15 projects and a total of 312 undetected extreme transformations. The tool is able to generate a suggestion for each each undetected transformation. For 63% of the cases, the existing test cases can infect the program state, meaning that undetected transformations are mostly due to observability and weak oracle issues. Interviews with developers confirm the relevance of the suggested improvements and experiments with state of the art automatic test generation tools indicate that no tool can improve the existing test suites to fix all undetected transformations.

研究动机与目标

• 为解决测试套件未能检测到移除方法体的极端代码转换的问题。
• 通过在测试执行期间对程序状态进行动态分析，自动化诊断未检测到转换的根本原因。
• 生成人类可读的、可操作的建议，指导开发者改进测试输入、断言或测试用例。
• 通过开发者访谈和与最先进测试生成工具的对比，评估 Reneri 建议的有效性。
• 提供开源工具和实证数据，以支持可复现性及未来在测试套件改进方面的研究。

提出的方法

• Reneri 对被测程序及其测试套件进行插桩，以收集原始代码与极端转换代码执行期间的运行时状态差异。
• 基于可达性-感染-传播（RIP）模型进行动态分析，将未检测到的转换分类为三种根本原因：无感染、无传播或弱断言。
• 通过比较不同测试运行中的程序状态观测结果，检测指示未检测到更改的差异。
• 为开发者合成自然语言建议，例如添加新测试输入、插入断言或创建新测试用例。
• 使用 15 个开源 Java 项目中的 312 个未检测到的极端转换对分析进行评估。
• 评估两种自动策略——基于 Evosuite 和 DSpot——以评估完全自动化测试套件修复的可行性。

实验结果

研究问题

• RQ1 是什么主要根本原因导致测试套件未能检测到极端代码转换？
• RQ2 Reneri 自动生成的建议在引导开发者修复未检测到的转换方面有多有效？
• RQ3 最先进测试生成工具能否检测到 Reneri 所诊断的相同未检测到的极端转换？
• RQ4 在真实项目中，三种根本原因——无感染、无传播和弱断言——的分布情况如何？
• RQ5 自动化测试生成策略在多大程度上能改进测试套件，以检测先前未检测到的极端转换？

主要发现

• 在 312 个未检测到的极端转换中，37% 是由于测试输入不足（无感染），37% 是由于感染未能传播（无传播），27% 是由于断言过弱（未能观测到感染）。
• 63% 的未检测到转换由可观测性问题引起，表明测试套件改进应优先考虑加强断言和提升输入多样性。
• 开发者访谈确认，Reneri 的建议在大多数情况下具有帮助，许多建议提供了精确的解决方案以检测这些转换。
• 基于 DSpot 的测试改进策略优于基于 Evosuite 的生成，通过将未检测到转换的比例作为适应度函数，检测到了 77% 的先前未检测到的转换。
• 没有任何现有测试生成工具能够修复所有未检测到的转换，凸显了针对性、基于诊断的测试改进的必要性。
• Reneri 是开源的，并提供开放数据，支持可复现性及未来在测试套件增强方面的研究。