[论文解读] Synthetic Minority Over-sampling TEchnique(SMOTE) for Predicting Software Build Outcomes

Russel Pears, Jacqui Finlay+1 more|arXiv (Cornell University)|Jul 9, 2014

Software Engineering Research参考文献 29被引用 25

一句话总结

本文提出使用SMOTE来解决从代码度量预测软件构建结果时的类别不平衡问题，采用数据流方法结合决策树。在处理约900个构建实例后，分类准确率达到80%，尽管生成了合成数据，类别分布偏差仍持续存在。

ABSTRACT

In this research we use a data stream approach to mining data and construct Decision Tree models that predict software build outcomes in terms of software metrics that are derived from source code used in the software construction process. The rationale for using the data stream approach was to track the evolution of the prediction model over time as builds are incrementally constructed from previous versions either to remedy errors or to enhance functionality. As the volume of data available for mining from the software repository that we used was limited, we synthesized new data instances through the application of the SMOTE oversampling algorithm. The results indicate that a small number of the available metrics have significance for prediction software build outcomes. It is observed that classification accuracy steadily improves after approximately 900 instances of builds have been fed to the classifier. At the end of the data streaming process classification accuracies of 80% were achieved, though some bias arises due to the distribution of data across the two classes over time.

研究动机与目标

• 在持续演化的软件开发环境中，基于源代码的代码度量预测软件构建结果。
• 通过应用SMOTE生成合成数据，解决软件构建结果预测中的数据不平衡问题。
• 评估基于决策树的数据流挖掘方法在实时预测构建结果方面的有效性。
• 分析随着新构建数据被逐步输入分类器，模型性能随时间的演变情况。
• 评估合成过采样对软件缺陷预测中分类准确率和偏差的影响。

提出的方法

• 采用数据流挖掘方法，对软件仓库中的构建数据逐步训练决策树模型。
• 从源代码中提取软件度量作为预测构建结果（如成功/失败）的输入特征。
• 应用SMOTE（合成少数类过采样技术）生成少数类的合成实例，以缓解数据不平衡问题。
• 模型采用增量方式训练，每个新的构建实例均参与更新演化中的分类器。
• 持续监控分类准确率，以评估学习进展和模型稳定性。
• 使用标准分类指标评估性能，重点关注类别分布偏差。

实验结果

研究问题

• RQ1 当在构建数据上逐步训练时，决策树分类器在软件构建结果预测中的性能如何随时间演变？
• RQ2 在存在类别不平衡的软件构建结果数据中，SMOTE在多大程度上提升了分类准确率？
• RQ3 在增量学习背景下，哪些软件度量对构建结果最具预测性？
• RQ4 数据不平衡如何影响模型偏差，SMOTE能否有效减轻这种偏差？
• RQ5 使用该方法实现稳定且准确的预测，所需的最少构建实例数量是多少？

主要发现

• 在处理约900个构建实例后，分类准确率稳步提升，达到峰值80%。
• 在可用的软件度量中，仅一小部分被发现是构建结果的重要预测因子。
• 尽管使用了SMOTE，由于两类结果在时间上的分布不均，模型预测中的偏差仍部分存在。
• 数据流方法实现了模型的持续优化，证明了在软件构建预测中增量学习的可行性。
• SMOTE有效缓解了少数类的数据稀缺问题，提升了早期训练阶段的模型鲁棒性。
• 结果表明，当结合合成过采样技术时，即使历史数据有限，构建结果的预测建模也是可行的。