[论文解读] Three Metrics to Explore the Openness of GitHub projects

Valerio Cosentino, Javier Luis Izquierdo+1 more|arXiv (Cornell University)|Sep 15, 2014

Open Source Software Innovations参考文献 10被引用 12

一句话总结

本文提出了三种度量 GitHub 项目开放性的指标：社区构成、外部贡献接受率以及成为协作者所需的时间。在部分 GitHub 项目中的应用表明，外部贡献者成为协作者的中位时间是 147.83 天，部分项目如 elasticSearch 的延迟显著更长，表明外部贡献可能存在障碍。

ABSTRACT

Open source software projects evolve thanks to a group of volunteers that help in their development. Thus, the success of these projects depends on their ability to attract (and keep) developers. We believe the openness of a project, i.e., how easy is for a new user to actively contribute to it, can help to make a project more attractive. To explore the openness of a software project, we propose three metrics focused on: (1) the distribution of the project community, (2) the rate of acceptance of external contributions and (3) the time it takes to become an official collaborator of the project. We have adapted and applied these metrics to a subset of GitHub projects, thus giving some practical findings on their openness.

研究动机与目标

• 识别并量化影响 GitHub 上开源软件项目开放性的因素。
• 通过测量社区包容性和贡献响应性，帮助项目维护者提升其项目的吸引力。
• 协助外部贡献者识别那些对贡献者更加友好、流程更开放的项目。
• 为项目治理如何影响开发者入职与留存提供数据驱动的洞察。

提出的方法

• 提出三种指标：(1) 基于项目成员与非成员的社区构成，(2) 外部贡献的接受率及其评估时间，(3) 从首次贡献到正式获得协作者身份的时间。
• 使用包含 108,718 个 GitHub 项目的数据库，涵盖拉取请求、问题、提交记录和用户操作。
• 通过追踪最初为外部贡献者、后执行特权操作（如合并拉取请求）的用户，推断协作者身份。
• 将用户首次贡献与首次管理操作之间的时间间隔计算为成为协作者的代理指标。
• 使用统计分析和可视化（如箱线图）展示项目间的分析结果。
• 筛选结果，仅保留至少有一位外部贡献者成为协作者的项目，以确保时间测量的有效性。

实验结果

研究问题

• RQ1 GitHub 项目的社区在项目成员与外部贡献者之间如何分布？
• RQ2 外部贡献的接受率如何？通常需要多长时间完成评估？
• RQ3 外部贡献者需要多长时间才能被授予协作者身份？
• RQ4 不同项目之间成为协作者的时间存在何种差异？是否存在可识别的模式？
• RQ5 这些指标能否帮助识别对外部贡献者更加开放和友好的项目？

主要发现

• 在原始 GitHub 项目中，外部贡献者成为协作者的中位时间是 147.83 天。
• 成为协作者时间的第一四分位数（Q1）为 74.83 天，第三四分位数（Q3）为 225.05 天，表明项目间存在显著差异。
• 项目 elasticSearch 的成为协作者时间达到 413.70 天，超出四分位距范围，表明其对外部贡献者的入职流程明显缓慢。
• 大量项目在授予协作者身份方面存在长时间延迟，表明可能存在阻碍社区包容性的障碍。
• 这些指标显示，许多项目未能及时认可或奖励活跃的外部贡献者，这可能影响其长期参与意愿。
• 本研究表明，开放性并非均匀分布，部分项目明显比其他项目更难让外部贡献者参与。