[论文解读] Understanding the Automated Parameter Optimization on Transfer Learning for CPDP: An Empirical Study

Ke Li, Zilin Xiang+3 more|arXiv (Cornell University)|Feb 8, 2020

Software Engineering Research参考文献 103被引用 10

一句话总结

本论文首次对跨项目缺陷预测（CPDP）中的自动化参数优化进行了实证研究，评估了62种CPDP技术在20个真实项目中的表现。研究发现，自动化优化显著提升了77%的技术性能，且成本可控；与仅优化分类模型相比，调优迁移学习参数能带来更大的性能提升。

ABSTRACT

Data-driven defect prediction has become increasingly important in software engineering process. Since it is not uncommon that data from a software project is insufficient for training a reliable defect prediction model, transfer learning that borrows data/knowledge from other projects to facilitate the model building at the current project, namely cross-project defect prediction (CPDP), is naturally plausible. Most CPDP techniques involve two major steps, i.e., transfer learning and classification, each of which has at least one parameter to be tuned to achieve their optimal performance. This practice fits well with the purpose of automated parameter optimization. However, there is a lack of thorough understanding about what are the impacts of automated parameter optimization on various CPDP techniques. In this paper, we present the first empirical study that looks into such impacts on 62 CPDP techniques, 13 of which are chosen from the existing CPDP literature while the other 49 ones have not been explored before. We build defect prediction models over 20 real-world software projects that are of different scales and characteristics. Our findings demonstrate that: (1) Automated parameter optimization substantially improves the defect prediction performance of 77\% CPDP techniques with a manageable computational cost. Thus more efforts on this aspect are required in future CPDP studies. (2) Transfer learning is of ultimate importance in CPDP. Given a tight computational budget, it is more cost-effective to focus on optimizing the parameter configuration of transfer learning algorithms (3) The research on CPDP is far from mature where it is "not difficult" to find a better alternative by making a combination of existing transfer learning and classification techniques. This finding provides important insights about the future design of CPDP techniques.

研究动机与目标

• 调查自动化参数优化对结合了迁移学习与分类的跨项目缺陷预测（CPDP）技术的影响。
• 解决在迁移学习与分类组件共同扩展的参数空间下，超参数调优如何影响CPDP性能的系统性理解不足的问题。
• 通过识别在计算资源受限条件下，迁移学习与分类组件中哪一个最受益于优化，为未来CPDP研究提供可操作的见解。
• 探讨现有CPDP技术是否已足够成熟，或通过新颖地组合迁移学习与分类算法是否可实现更优性能。

提出的方法

• 评估了62种CPDP技术——包括13种来自现有文献的组合与49种新构建的迁移学习与分类算法组合。
• 在20个具有不同规模和特征的真实软件项目上开展实验，以确保结果的泛化能力。
• 采用网格搜索或类似方法进行自动化参数优化，以调优迁移学习与分类阶段的超参数。
• 使用标准缺陷预测指标（如F1-score、AUC）衡量性能，并应用统计检验（如Wilcoxon signed-rank test）评估显著性。
• 使用效应量分析（Cohen’s d）评估性能提升的实际意义。
• 在固定计算预算下，比较优化迁移学习参数与优化分类参数的影响差异。

实验结果

研究问题

• RQ1 RQ1：自动化参数优化在预测准确率方面，能为CPDP技术带来多大程度的性能提升？
• RQ2 RQ2：在计算资源有限的条件下，优化迁移学习参数与优化分类参数，哪一个组件能带来更大的性能改进？
• RQ3 RQ3：当前最先进的CPDP技术是否已足够成熟，还是通过新颖地组合现有迁移学习与分类技术可实现更优性能？

主要发现

• 在评估的62种CPDP技术中，77%的技术经自动化参数优化后性能显著提升，且根据Cohen’s规则，效应量较大。
• 在计算预算紧张的情况下，优化迁移学习参数带来的性能增益大于优化分类参数，因此更具成本效益。
• 在大多数情况下，统计上表现最佳的CPDP技术均来自新构建的49种组合，表明当前最先进的技术尚未成熟。
• 自动化优化带来的性能提升不仅具有统计显著性，也具有实际意义，尤其在应用于迁移学习组件时更为明显。
• 本研究证实，默认或现成的参数设置常导致次优性能，从而损害CPDP研究的可重现性与可靠性。
• 结果表明，未来CPDP研究应优先关注迁移学习参数的智能优化，并探索更广泛的算法组合。