[论文解读] Predicting Project Health for Open Source Projects (using the DECART Hyperparameter Optimizer).

Tianpei Xia, Wei Fu+2 more|arXiv (Cornell University)|Jun 12, 2020

Software Engineering Research参考文献 56被引用 5

一句话总结

本文提出使用DECART超参数优化框架，利用来自1,628个项目的78,455个月GitHub数据，提升开源项目健康度指标的预测准确性。通过微调CART回归算法并结合差分进化，该方法将中位数预测误差降低至10%以下，显著优于传统算法，后者通常超过50%的误差。

ABSTRACT

Software developed on public platforms is a source of data that can be used to make predictions about those projects. While the activity of a single developer may be random and hard to predict, when large groups of developers work together on software projects, the resulting behavior can be predicted with good accuracy. To demonstrate this, we use 78,455 months of data from 1,628 GitHub projects to make various predictions about the current status of those projects (as of April 2020). We find that traditional estimation algorithms make many mistakes. Algorithms like k-nearest neighbors (KNN), support vector regression (SVR), random forest (RFT), linear regression (LNR), and regression trees (CART) have high error rates (usually more than 50% wrong, sometimes over 130% wrong, median values). But that error rate can be greatly reduced using the DECART hyperparameter optimization. DECART is a differential evolution (DE) algorithm that tunes the CART data mining system to the particular details of a specific project. To the best of our knowledge, this is the largest study yet conducted, using the most recent data, for predicting multiple health indicators of open-source projects. Further, due to our use of hyperparameter optimization, the median predicting error of our predictions usually less than 10% which is much smaller than the errors seen in related work. Our results are a compelling argument for open-sourced development. Companies that only build in-house proprietary products may be cutting themselves off from the information needed to reason about those projects.

研究动机与目标

• 利用软件开发活动数据提升预测开源项目健康指标的准确性。
• 解决传统机器学习模型（如KNN、SVR和随机森林）在预测项目健康度指标时误差率过高的问题。
• 评估超参数优化（特别是DECART）在大规模开源项目数据中降低预测误差的有效性。
• 证明协作开发模式可被可靠预测，从而支持开源软件生态系统的价值。

提出的方法

• 本研究使用来自1,628个GitHub项目的78,455个月历史数据，提取代表项目活动和健康指标的特征。
• 在数据集上训练并评估传统回归模型（KNN、SVR、RFT、LNR和CART），以建立基线预测误差率。
• 对每个独立项目应用DECART（基于差分进化算法的优化器），以调优CART算法的超参数。
• 通过迭代搜索超参数空间并应用差分进化原理，持续提升CART的性能，以最小化预测误差。
• 使用中位数绝对误差（MAE）衡量预测准确性，并对比不同模型在有无超参数调优情况下的表现。
• 最终模型采用针对每个项目定制的DECART调优CART生成项目健康预测结果，并以2020年4月的实测数据作为真实值进行误差评估。

实验结果

研究问题

• RQ1 传统机器学习模型能否利用大规模GitHub数据准确预测开源项目健康度指标？
• RQ2 与基线模型相比，使用DECART进行超参数优化在多大程度上降低了预测误差？
• RQ3 在多样化开源项目中，DECART调优后的CART模型在中位数预测误差方面与其他模型相比表现如何？
• RQ4 协作开发模式对项目健康度指标可预测性有何影响？

主要发现

• KNN、SVR和随机森林等传统模型表现出较高的预测误差，中位数误差超过50%，部分情况甚至超过130%。
• 经过DECART优化的CART模型将中位数预测误差降低至10%以下，显著优于基线模型。
• 本研究是此类分析中规模最大的已知研究，使用了最新数据（截至2020年4月），覆盖1,628个开源项目。
• 结果表明，协作开发行为在大规模下具有可预测性，支持开源数据在项目健康预测中的价值。
• 仅依赖内部专有开发的公司可能错失通过开源生态系统可获得的预测信号。
• DECART的项目特定超参数调优使即使在基线模型失效的情况下也能实现高精度预测，凸显模型个性化的重要性。