[论文解读] Towards an automated approach for bug fix pattern detection

Fernanda Madeiral, Thomas Durieux+2 more|arXiv (Cornell University)|Jul 30, 2018

Software Testing and Debugging Techniques参考文献 7被引用 15

一句话总结

本文提出 PPD，一种通过使用 GumTree 和 Spoon 分析抽象语法树（AST）差异，自动检测 Java 错误修复中修复模式的工具。在 Defects4J 上的评估显示，PPD 的精确率为 91%，召回率为 92%，表现出色，性能与人工分析相当，且可实现对错误数据集的可扩展表征，支持程序修复研究。

ABSTRACT

The characterization of bug datasets is essential to support the evaluation of automatic program repair tools. In a previous work, we manually studied almost 400 human-written patches (bug fixes) from the Defects4J dataset and annotated them with properties, such as repair patterns. However, manually finding these patterns in different datasets is tedious and time-consuming. To address this activity, we designed and implemented PPD, a detector of repair patterns in patches, which performs source code change analysis at abstract-syntax tree level. In this paper, we report on PPD and its evaluation on Defects4J, where we compare the results from the automated detection with the results from the previous manual analysis. We found that PPD has overall precision of 91% and overall recall of 92%, and we conclude that PPD has the potential to detect as many repair patterns as human manual analysis.

研究动机与目标

• 自动化检测软件错误修复中的修复模式，减少对耗时的人工分析的依赖。
• 通过支持基于修复模式特性的错误选择，提升对自动程序修复工具评估的稳健性。
• 促进在不同数据集之间对修复结果与错误特征之间关系的关联分析。
• 通过揭示其结构组成和潜在偏差，支持对不同错误数据集的对比分析。
• 提供一个公开可用的工具，支持程序修复研究中可重现且可扩展的补丁分析。

提出的方法

• PPD 使用 GumTree 算法进行细粒度源代码差异分析，从存在错误和修复后的代码中提取 AST 级编辑脚本。
• 它使用 Spoon（一个 Java 源代码分析库）分析 AST 差异，以检测节点级别的结构变化。
• 该工具实现了对 25 种预定义修复模式的检测逻辑，这些模式被归入九种类别，如单行修复、缺失空值检查和条件块添加等。
• 模式检测基于 AST 节点的语法和结构特征，包括代码元素的插入、删除和重新定位。
• 系统采用基于规则的匹配策略，识别 AST 差异中每种模式的实例。
• 评估涉及将 PPD 的输出与 Defects4J 中 400 个补丁的手动标注数据集进行对比。

实验结果

研究问题

• RQ1 自动化工具能否以与人工分析相当的精确率和召回率检测错误修复中的修复模式？
• RQ2 PPD 在 Defects4J 数据集中不同修复模式组上的性能表现如何？
• RQ3 自动化检测在多大程度上能减少对大规模错误数据集进行特征表征所需的工作量？
• RQ4 自动化修复模式检测中的主要错误来源是什么？与人工错误相比如何？
• RQ5 PPD 是否可用于在现有数据集中识别先前未被发现的修复模式实例？

主要发现

• 在 Defects4J 数据集上检测修复模式时，PPD 的总体精确率为 91%，总体召回率为 92%。
• PPD 检测到 90 个先前手动分析中未识别出的修复模式实例。
• 人工分析员总共犯了 24 个错误，少于 PPD 的 73 个错误，但漏检了更多独有的模式实例（65 个 vs. 90 个）。
• 对于某些模式（如缺失空值检查），PPD 在召回率方面优于人工检测。
• 该工具成功识别出先前分类法中定义的所有九类修复模式，证明了其广泛的覆盖范围。
• PPD 的性能受到 GumTree 在复杂更改（如代码重排或嵌套修改）中 AST 映射不精确的影响。