[论文解读] The Impact of Automated Parameter Optimization on Defect Prediction Models

Chakkrit Tantithamthavorn, Shane McIntosh+2 more|arXiv (Cornell University)|Jan 31, 2018

Software Engineering Research参考文献 133被引用 27

一句话总结

本研究利用18个数据集和26种分类技术，调查了在软件缺陷预测模型中自动化参数优化的效果。结果表明，优化可使AUC性能最高提升40个百分点，增强模型稳定性，显著改变特征重要性排序，并实现跨数据集的可转移最优设置——尤其对C5.0和神经网络等较少使用的分类器具有显著益处。

ABSTRACT

Defect prediction models---classifiers that identify defect-prone software modules---have configurable parameters that control their characteristics (e.g., the number of trees in a random forest). Recent studies show that these classifiers underperform when default settings are used. In this paper, we study the impact of automated parameter optimization on defect prediction models. Through a case study of 18 datasets, we find that automated parameter optimization: (1) improves AUC performance by up to 40 percentage points; (2) yields classifiers that are at least as stable as those trained using default settings; (3) substantially shifts the importance ranking of variables, with as few as 28% of the top-ranked variables in optimized classifiers also being top-ranked in non-optimized classifiers; (4) yields optimized settings for 17 of the 20 most sensitive parameters that transfer among datasets without a statistically significant drop in performance; and (5) adds less than 30 minutes of additional computation to 12 of the 26 studied classification techniques. While widely-used classification techniques like random forest and support vector machines are not optimization-sensitive, traditionally overlooked techniques like C5.0 and neural networks can actually outperform widely-used techniques after optimization is applied. This highlights the importance of exploring the parameter space when using parameter-sensitive classification techniques.

研究动机与目标

• 评估自动化参数优化在多样化数据集上对缺陷预测模型性能的影响。
• 评估优化参数是否能提升模型在不同软件系统间的稳定性、可解释性和可转移性。
• 比较四种优化技术（网格搜索、随机搜索、遗传算法和差分进化）在计算成本和有效性方面的表现。
• 确定传统上被忽视的分类器（如C5.0、神经网络）在充分调优后是否能超越广泛使用的分类器（如随机森林、SVM）。
• 探究是否可将某一数据集的最优参数设置直接应用于其他数据集，而性能损失可忽略。

提出的方法

• 在26种分类算法上应用四种自动化参数优化技术：网格搜索、随机搜索、遗传算法和差分进化。
• 使用12项指标评估性能：3项与阈值无关（如AUC）和9项与阈值相关（如精确率、召回率）。
• 对来自开源和专有系统的18个真实世界软件数据集开展案例研究，包括Eclipse、Mylyn、Xalan和Apache Commons。
• 采用10折交叉验证以衡量性能稳定性，确保结果的稳健性。
• 通过变量重要性分析评估优化后特征排序的变化。
• 通过将某一数据集的优化设置应用于其他数据集并测量性能下降，测试参数的可转移性。

实验结果

研究问题

• RQ1 自动化参数优化在多大程度上提升了缺陷预测模型的AUC性能？
• RQ2 参数优化如何影响缺陷预测模型在不同数据集上的稳定性？
• RQ3 优化后变量重要性排序如何变化？前几名特征的排序在多大程度上得以保留？
• RQ4 能否将某一数据集的最优参数设置转移到另一数据集，而性能损失可忽略？
• RQ5 在不同分类技术上应用自动化参数优化的计算开销如何？

主要发现

• 自动化参数优化使AUC性能最高提升40个百分点，26种分类技术中有16种表现出非可忽略的性能增益。
• 优化后的模型稳定性至少与默认参数设置的模型相当，且在各数据集间方差无显著增加。
• 仅28%的优化模型中排名靠前的变量在非优化模型中也位列前茅，表明特征重要性发生了显著变化。
• 在20个最敏感参数中，17个的最优设置可在不同数据集间转移，且性能无显著下降。
• 在所研究的26种分类技术中，12种的优化计算开销低于30分钟。
• 经调优后，传统上被忽视的分类器（如C5.0和神经网络）在性能上超越了广泛使用的分类器（如随机森林和SVM），凸显了对敏感算法进行参数调优的重要性。