[论文解读] Replication Can Improve Prior Results: A GitHub Study of Pull Request Acceptance

Di Chen, Kathyrn T. Stolee+1 more|arXiv (Cornell University)|Feb 9, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 52被引用 4

一句话总结

本研究通过众包和数据挖掘技术，对一项关于GitHub代码合并请求接受情况的定性研究进行了部分复制与扩展。通过将原始研究的洞见应用于包含190个合并请求的更大数据集，作者构建的预测模型F1得分达到90%，显著优于原始研究中定性因素的预测表现，证明了混合方法复制能够提升先前研究的结果。

ABSTRACT

Crowdsourcing and data mining can be used to effectively reduce the effort associated with the partial replication and enhancement of qualitative studies. For example, in a primary study, other researchers explored factors influencing the fate of GitHub pull requests using an extensive qualitative analysis of 20 pull requests. Guided by their findings, we mapped some of their qualitative insights onto quantitative questions. To determine how well their findings generalize, we collected much more data (170 additional pull requests from 142 GitHub projects). Using crowdsourcing, that data was augmented with subjective qualitative human opinions about how pull requests extended the original issue. The crowd's answers were then combined with quantitative features and, using data mining, used to build a predictor for whether code would be merged. That predictor was far more accurate that one built from the primary study's qualitative factors (F1=90 vs 68\%), illustrating the value of a mixed-methods approach and replication to improve prior results. To test the generality of this approach, the next step in future work is to conduct other studies that extend qualitative studies with crowdsourcing and data mining.

研究动机与目标

• 检验是否可以通过众包和数据挖掘技术对主定性研究中的合并请求接受情况进行部分复制，从而提高预测准确性。
• 通过将研究结果扩展到190个合并请求的更大数据集，评估先前定性研究发现的外部有效性。
• 比较基于定性洞见（通过众包获得）的特征与文献中定量特征的预测性能。
• 证明在软件工程研究中，结合专家洞见与可扩展的数据收集与分析的混合方法具有价值。
• 建立一种可复制的方法论，通过成本效益高的大规模数据增强与数据挖掘技术，扩展定性研究。

提出的方法

• 本研究基于先前定性研究（TDH）的洞见，设计了用于众包的微型任务问题，重点关注代码合并请求讨论特征及其对接受率的影响。
• MTurk上的众包工作者评估了原始20个请求之外的170个额外请求，提供了关于请求如何扩展原始问题的主观评估。
• 将众包响应与定量元数据（如评论数量、合并时间）相结合，形成综合性数据集。
• 应用数据挖掘技术，基于众包衍生特征和文献中的定量特征，构建预测模型以预测代码合并请求的接受情况。
• 通过黄金问题和多名工作者结果的聚合，确保质量控制，提升可靠性。
• 使用F1得分评估预测性能，比较基于众包标注特征训练的模型与基于传统定量指标的模型表现。

实验结果

研究问题

• RQ1 是否能够通过众包技术有效扩展对合并请求接受情况的定性研究的部分复制？
• RQ2 在通过众包评估验证后，小样本中获得的定性洞见是否能在更大数据集中泛化？
• RQ3 对众包标注数据进行数据挖掘，是否能够使预测准确率超越仅依赖定量特征的模型？
• RQ4 基于定性洞见（通过众包获得）的模型与基于既定定量指标的模型在预测性能上如何比较？
• RQ5 混合方法复制在多大程度上能够增强主定性研究发现的稳健性与准确性？

主要发现

• 基于众包获取的定性特征构建的预测模型F1得分为90%，显著优于原始研究中定性因素的68% F1得分。
• 基于文献中定量特征训练的模型优于仅依赖原始定性洞见的模型，但众包增强的模型仍表现出色。
• 众包成功复制了原始定性研究的关键发现，表明当在更大规模上验证时，这些洞见具有稳定性和外部有效性。
• 本研究证实，提交者先前的互动水平和讨论动态等因素会影响合并请求的接受，这些因素在更大数据集中持续被观察到。
• 对众包标注数据进行数据挖掘揭示了新的、可操作的预测因子，这些因子在仅依靠定性分析时并不明显，证明了混合方法扩展的价值。
• 结果支持了以下推论：将众包与数据挖掘相结合，能够提升主定性研究在软件工程领域发现的准确性和稳健性。