[论文解读] Spectrum-based Software Fault Localization: A Survey of Techniques, Advances, and Challenges

Higor Amario de Souza, Marcos Lordello Chaim+1 more|arXiv (Cornell University)|Jul 15, 2016

Software Testing and Debugging Techniques参考文献 167被引用 66

一句话总结

本综述对2005年至2017年10月期间的基于谱的软件故障定位（SFL）技术进行了全面分析，评估了其方法、谱类型、故障处理、基准程序、测试数据及工业适用性。研究识别出若干关键进展，如在真实程序中提升故障定位效果以及改进可疑度排序，同时指出了诸多挑战，如处理多重故障、平衡精度与成本，以及缺乏用户研究以支持实际应用。

ABSTRACT

Despite being one of the most basic tasks in software development, debugging is still performed in a mostly manual way, leading to high cost and low performance. To address this problem, researchers have studied promising approaches, such as Spectrum-based Fault Localization (SFL) techniques, which pinpoint program elements more likely to contain faults. This survey discusses the state-of-the-art of SFL, including the different techniques that have been proposed, the type and number of faults they address, the types of spectra they use, the programs they utilize in their validation, the testing data that support them, and their use at industrial settings. Notwithstanding the advances, there are still challenges for the industry to adopt these techniques, which we analyze in this paper. SFL techniques should propose new ways to generate reduced sets of suspicious entities, combine different spectra to fine-tune the fault localization ability, use strategies to collect fine-grained coverage levels from suspicious coarser levels for balancing execution costs and output precision, and propose new techniques to cope with multiple-fault programs. Moreover, additional user studies are needed to understand better how SFL techniques can be used in practice. We conclude by presenting a concept map about topics and challenges for future research in SFL.

研究动机与目标

• 提供2005年至2017年10月期间基于谱的故障定位（SFL）技术的全面、最新综述。
• 分析SFL的最新进展，包括技术方法、谱类型、故障特征、基准程序及评估中使用的测试数据。
• 识别并讨论阻碍SFL在工业中采用的关键挑战，如处理多重故障、平衡执行成本与精度，以及缺乏用户研究。
• 提出未来研究方向，包括结合多种谱类型、生成精简的可疑实体集合，以及提升对真实程序调试的支持。
• 提出一个概念图，以展示SFL研究中核心主题与挑战之间的关系。

提出的方法

• 通过系统性文献综述与滚雪球法，识别2005年至2017年10月期间发表的SFL研究。
• 根据其调试支持策略及与核心研究主题的相关性，对SFL技术进行分类。
• 分析所使用谱类型（如控制流、数据流、语句级、谓词级）及其对故障定位准确率的影响。
• 评估实验验证SFL技术时所使用的基准程序、故障类型及测试数据。
• 评估实际应用情况，包括用户研究与工业部署，并识别在真实适用性方面的差距。
• 开发一个概念图，以可视化SFL研究中主题、子主题与研究挑战之间的关系。

实验结果

研究问题

• RQ1 2005年至2017年间提出的最具代表性的SFL技术有哪些？它们在故障定位方法上存在哪些差异？
• RQ2 不同类型的谱（如控制流、数据流）如何影响故障定位的准确率与效率？
• RQ3 当前SFL技术在处理真实软件时的主要局限是什么，特别是针对具有多重故障与复杂交互的程序？
• RQ4 为何SFL技术的工业采用仍有限？哪些因素阻碍其集成到软件开发工作流中？
• RQ5 未来哪些研究方向可提升SFL在工业应用中的实用性、精度与可扩展性？

主要发现

• 近期SFL技术已在真实程序中成功证明其有效性，不再局限于小型单故障基准测试。
• 结合多种谱类型（如控制流与数据流）的技术在提升故障定位精度方面展现出潜力，但计算成本更高。
• 生成精简的可疑实体集合的趋势日益明显，以提升开发人员效率，部分技术在前几名结果中已实现高故障定位准确率。
• 利用粗粒度谱信息的细粒度覆盖收集策略有助于平衡执行成本与输出精度，但仍有待进一步探索。
• 当前SFL技术在处理多重故障程序时仍存在困难，故障相互作用与未知故障数量使定位更加复杂。
• 在真实开发环境中进行SFL的用户研究仍十分稀缺，限制了对开发人员实际如何使用与受益于SFL建议的理解。