[论文解读] "Won't We Fix this Issue?" Qualitative Characterization and Automated Identification of Wontfix Issues on GitHub

Andrea Di Sorbo, Gerardo Canfora+1 more|arXiv (Cornell University)|Apr 4, 2019

Software Engineering Research参考文献 81被引用 8

一句话总结

本文通过分析667个问题的定性研究和基于NLP的自动化预测，调查了GitHub上被开发者拒绝的wontfix问题（即尽管被报告但被拒绝修复的问题）。研究提出了一种机器学习模型，仅基于问题标题和描述，即可实现90–93%的精确率、召回率和F1值，显著减少了手动分类所需的时间。

ABSTRACT

Context: Addressing user requests in the form of bug reports and Github issues represents a crucial task of any successful software project. However, user-submitted issue reports tend to widely differ in their quality, and developers spend a considerable amount of time handling them. Objective: By collecting a dataset of around 6,000 issues of 279 GitHub projects, we observe that developers take significant time (i.e., about five months, on average) before labeling an issue as a wontfix. For this reason, in this paper, we empirically investigate the nature of wontfix issues and methods to facilitate issue management process. Method: We first manually analyze a sample of 667 wontfix issues, extracted from heterogeneous projects, investigating the common reasons behind a "wontfix decision", the main characteristics of wontfix issues and the potential factors that could be connected with the time to close them. Furthermore, we experiment with approaches enabling the prediction of wontfix issues by analyzing the titles and descriptions of reported issues when submitted. Results and conclusion: Our investigation sheds some light on the wontfix issues' characteristics, as well as the potential factors that may affect the time required to make a "wontfix decision". Our results also demonstrate that it is possible to perform prediction of wontfix issues with high average values of precision, recall, and F-measure (90%-93%).

研究动机与目标

• 理解GitHub问题中wontfix决策背后的原因，这些原因常导致解决延迟并消耗开发人员的时间。
• 识别影响wontfix问题关闭时间（平均五个月）的常见特征和因素。
• 开发并评估在问题提交时即预测其是否会被标记为wontfix的自动化方法。
• 通过在问题分类阶段早期识别低潜力问题，减轻开发人员的负担。

提出的方法

• 从279个GitHub项目中收集了约6,000个问题的数据集，以研究wontfix问题的模式。
• 对跨多个项目的667个wontfix问题进行了人工定性分析，以识别拒绝的常见原因。
• 使用NLP技术从问题标题和描述中提取特征，以训练机器学习模型进行预测。
• 使用标准指标（精确率、召回率、F1值）评估多种分类模型的预测性能。
• 专注于早期预测——即仅基于文本内容，在问题提交时即判断其是否为wontfix。
• 结合词汇、句法和语义特征，以提高模型在不同项目间的泛化能力。

实验结果

研究问题

• RQ1 开发者将问题标记为wontfix的主要原因是什么？这些原因在不同项目间有何差异？
• RQ2 问题报告的哪些特征与wontfix决策的耗时较长相关？
• RQ3 问题的文本内容（标题和描述）在多大程度上可以预测其最终被归类为wontfix？
• RQ4 不同机器学习模型在仅使用初始问题元数据时，预测wontfix问题的表现如何？
• RQ5 能否通过早期预测wontfix问题来减少开源项目中问题分类所耗费的时间与精力？

主要发现

• 开发人员平均需约五个月时间才将问题标记为wontfix，表明决策过程存在显著延迟。
• 最常见的wontfix原因包括“超出范围”、“非错误”、“不予修复”和“重复”，且在不同项目中存在差异。
• 本研究证明，机器学习模型可实现高精度预测wontfix状态，F1值在90%至93%之间。
• 从问题标题和描述的自然语言中提取的特征，对预测最终wontfix状态具有高度预测力。
• 该模型在不同GitHub项目中均表现稳健，表明其对其他开源生态系统的可推广性。
• 早期预测wontfix问题可显著减少开发人员的负担，通过自动化分类和过滤低潜力报告实现。