[论文解读] Pull Request Decision Explained: An Empirical Overview

Xunhui Zhang, Yue Yu+2 more|arXiv (Cornell University)|May 28, 2021

Software Engineering Research参考文献 60被引用 4

一句话总结

本研究基于来自11,230个项目的335万条拉取请求（PR）的大型数据集，实证解释了GitHub上拉取请求的决策过程。研究发现，贡献者与集成者是否为同一人是最重要的影响因素，解释了超过30%的决策差异，而持续集成（CI）使用情况和讨论情感等则在特定情境下产生影响。

ABSTRACT

Context: Pull-based development model is widely used in open source, leading the trends in distributed software development. One aspect which has garnered significant attention is studies on pull request decision - identifying factors for explanation. Objective: This study builds on a decade long research on pull request decision to explain it. We empirically investigate how factors influence pull request decision and scenarios that change the influence of factors. Method: We identify factors influencing pull request decision on GitHub through a systematic literature review and infer it by mining archival data. We collect a total of 3,347,937 pull requests with 95 features from 11,230 diverse projects on GitHub. Using this data, we explore the relations of the factors to each other and build mixed-effect logistic regression models to empirically explain pull request decision. Results: Our study shows that a small number of factors explain pull request decision with the integrator same or different from the submitter as the most important factor. We also noted that some factors are important only in special cases e.g., the percentage of failed builds is important for pull request decision when continuous integration is used.

研究动机与目标

• 整合现有文献中关于影响拉取请求决策因素的知识。
• 利用GitHub的实证数据，识别并量化拉取请求决策中最具影响力的因素。
• 研究在不同开发情境（如CI使用或评论存在）下，各因素重要性的变化。
• 为未来软件工程研究提供一个全面且多样的数据集，包含11,230个项目和95项特征。
• 构建混合效应逻辑回归模型，以实现对拉取请求接受或拒绝的高实证有效性解释。

提出的方法

• 开展系统性文献回顾（SLR），从现有研究中识别出95项影响PR决策的因素。
• 收集并处理来自11,230个GitHub项目的归档数据，包括PR元数据、贡献者行为、CI结果和讨论特征。
• 对数据进行预处理，提取95项指标以代表已识别因素，确保在不同项目和编程语言间的一致性。
• 应用混合效应逻辑回归模型分析各因素对PR决策（接受/拒绝）的影响，同时考虑项目层面的随机效应。
• 通过子群分析评估在特定情境下（如启用CI的PR、有评论的PR）因素重要性的变化。
• 通过探索性数据分析和模型诊断验证研究发现，确保结果的稳健性和可推广性。

实验结果

研究问题

• RQ1 RQ1：各类因素如何影响拉取请求决策结果？
• RQ2 RQ2：这些因素的影响是否因情境条件（如CI使用、评论活动）而变化？

主要发现

• ‘贡献者与集成者为同一用户’这一因素最具影响力，解释了PR决策结果超过30%的方差。
• 当使用持续集成（CI）时，CI构建失败的百分比成为PR被拒绝的显著预测因子。
• PR讨论中情感为正时，接受的可能性提高，尤其在存在评论的情况下更为明显。
• 使用CI工具会降低评论在决策中的相对重要性，表明CI在某些情况下可替代同行评审。
• 仅有5至10个因素解释了PR决策模型中绝大部分的解释力，表明因素具有高度效率。
• 本研究识别出一个此前被忽视但极为重要的因素——贡献者与集成者身份一致性，该因素在以往研究中均未涉及。