[论文解读] Software Defect Prediction Using Support Vector Machine

Haneen Abu Alhija, Mohammad Azzeh+1 more|arXiv (Cornell University)|Sep 10, 2022

Software Engineering Research被引用 9

一句话总结

本研究使用 PROMISE 项目中的公开数据集，评估支持向量机（SVM）在六种不同核函数下的软件缺陷预测性能。结果表明，不同数据集之间并无单一核函数始终表现更优，且基于主成分分析（PCA）的特征降维仅带来微小的准确率提升，凸显了SVM在不同设置下缺陷预测的不稳定性。

ABSTRACT

Software defect prediction is an essential task during the software development Lifecycle as it can help managers to identify the most defect-proneness modules. Thus, it can reduce the test cost and assign testing resources efficiently. Many classification methods can be used to determine if the software is defective or not. Support Vector Machine (SVM) has not been used extensively for such problems because of its instability when applied on different datasets and parameter settings. The main parameter that influences the accuracy is the choice of the kernel function. The use of kernel functions has not been studied thoroughly in previous papers. Therefore, this research examines the performance and accuracy of SVM with six different kernel functions. Various public datasets from the PROMISE project empirically validate our hypothesis. The results demonstrate that no kernel function can give stable performance across different experimental settings. In addition, the use of PCA as a feature reduction algorithm shows slight accuracy improvement over some datasets.

研究动机与目标

• 评估SVM在多种核函数下预测软件缺陷的有效性。
• 研究核函数选择对SVM在不同软件数据集上性能的影响。
• 评估主成分分析（PCA）作为特征降维技术在提升SVM缺陷预测准确率中的作用。
• 识别SVM在软件缺陷预测任务中稳定可靠的配置。

提出的方法

• 在SVM框架中采用六种核函数——线性、多项式、径向基函数（RBF）、Sigmoid、薄板样条和多二次函数。
• 使用PROMISE软件工程仓库中的公开数据集进行实证评估。
• 通过主成分分析（PCA）实施特征选择与降维，以评估其对模型准确率的影响。
• 采用准确率、F1值和AUC-ROC等标准分类指标衡量性能。
• 在多个数据集上开展实验，以评估每种核函数配置的泛化能力与稳定性。
• 使用统计检验比较不同核函数类型之间性能差异的显著性。

实验结果

研究问题

• RQ1 在使用SVM时，哪种核函数在多种软件数据集上能实现最高的缺陷预测准确率？
• RQ2 核函数的选择如何影响SVM在不同数据集上性能的稳定性和一致性？
• RQ3 将PCA作为特征降维技术在多大程度上能提升基于SVM的缺陷预测准确率？
• RQ4 是否存在特定的数据集特征，使得某些核函数在缺陷预测中表现更优？

主要发现

• 无单一核函数在所有数据集上始终表现最优，表明SVM性能受数据集和参数设置影响显著，存在不稳定性。
• RBF核在多个数据集上表现良好，但未在所有实验中占据主导地位，表明不存在普遍最优的核函数。
• 基于PCA的特征降维在部分数据集上带来轻微准确率提升，但增益不显著且在所有情况下并不一致。
• 不同核函数之间的性能差异显著，F1值与AUC-ROC值的差异表明模型对核函数选择高度敏感。
• 研究证实，SVM在软件缺陷预测中的性能高度依赖于核函数选择及数据集特定特征。
• 结果表明，核函数选择应基于数据集特性，而非依赖默认或普遍优选的核函数。