[论文解读] Watch out for This Commit! A Study of Influential Software Changes

Daoyuan Li, Li Li+4 more|arXiv (Cornell University)|Jun 10, 2016

Software Engineering Research参考文献 43被引用 10

一句话总结

本文提出了一种机器学习方法，通过分析代码变更特征（如复杂度、提交日志术语和共变更图中的文件中心性）来在提交后立即预测具有影响力的软件变更。该模型在识别具有影响力的变更方面实现了80.4%的F1值，从而实现对影响系统整体质量或性能的高影响力变更的早期检测。

ABSTRACT

One single code change can significantly influence a wide range of software systems and their users. For example, 1) adding a new feature can spread defects in several modules, while 2) changing an API method can improve the performance of all client programs. Developers often may not clearly know whether their or others' changes are influential at commit time. Rather, it turns out to be influential after affecting many aspects of a system later. This paper investigates influential software changes and proposes an approach to identify them early, i.e., immediately when they are applied. We first conduct a post-mortem analysis to discover existing influential changes by using intuitions such as isolated changes and changes referred by other changes in 10 open source projects. Then we re-categorize all identified changes through an open-card sorting process. Subsequently, we conduct a survey with 89 developers to confirm our influential change categories. Finally, from our ground truth we extract features, including metrics such as the complexity of changes, terms in commit logs and file centrality in co-change graphs, to build machine learning classifiers. The experiment results show that our prediction model achieves overall with random samples 86.8% precision, 74% recall and 80.4% F-measure respectively.

研究动机与目标

• 基于开发人员直觉和事后分析，识别并定义何为具有影响力的软件变更。
• 发现可度量的特征（如代码复杂度、提交日志术语和文件中心性），这些特征与具有影响力的变更相关。
• 构建一个机器学习分类器，以在提交时预测具有影响力的变更，从而实现实时干预。
• 通过开发人员调查和在真实世界开源项目中的实证评估，验证所提出的分类和特征。

提出的方法

• 对10个开源项目的48,272次提交进行事后分析，基于长期影响和系统范围效应识别具有影响力的变更。
• 通过89名开发人员的开放式分类法（open-card sorting）定义并验证具有影响力变更的类别，确保符合开发人员认可的语义。
• 提取的特征包括圈复杂度、修改行数、提交日志中的术语以及共变更图中的文件中心性。
• 使用标记数据训练机器学习分类器（例如，使用监督学习），以预测某次变更是否具有影响力。
• 使用标准指标（精确率、召回率和F1值）在数据集的随机样本上评估模型性能。
• 利用版本控制和修订历史数据追踪长期影响，并验证预测结果。

实验结果

研究问题

• RQ1 什么构成具有影响力的软件变更？是否存在开发人员认可的定义或描述？
• RQ2 哪些度量和特征能够有效捕捉并识别版本控制历史中的具有影响力变更？
• RQ3 机器学习模型能否在变更提交后立即准确预测其影响力？

主要发现

• 所提出的预测模型在随机测试样本上识别具有影响力变更的精确率为86.8%，召回率为74%，F1值为80.4%。
• 提交日志术语、代码复杂度以及共变更图中的文件中心性等特征，是影响力的良好预测因子。
• 具有影响力的变更通常具有长期、系统范围的影响——例如引入广泛缺陷，或提升依赖系统的整体性能。
• 开发人员调查验证了所提出的具有影响力变更类别，确认开发人员能够识别并理解“具有影响力”提交的概念。
• 现有侧重于短期影响的技术（如测试失败或代码覆盖率变化）不足以检测长期、广泛的影响。
• 本研究证明，可通过提交时的静态特征早期检测具有影响力的变更，从而实现主动维护和代码审查。