[论文解读] While Tuning is Good, No Tuner is Best.

Huy Tu, Vivek Nair|arXiv (Cornell University)|Jul 29, 2018

Machine Learning and Data Classification被引用 6

一句话总结

本研究评估了多种超参数优化器——网格搜索、差分进化、随机搜索和SMAC——在缺陷预测中的表现，发现没有一种调优器在所有情况下都持续优于其他方法。令人惊讶的是，在50%的情况下，超参数调优相较于默认配置并未带来任何性能提升，尤其是在F-measure指标上，这挑战了调优在软件分析中始终能提升性能的假设。

ABSTRACT

Hyperparameter tuning is the black art of automatically finding a good combination of control parameters for a data miner. While widely applied in Software Engineering, there has not been much discussion on which hyperparameter tuner is best for software analytics. To address this gap in the literature, this paper applied a range of hyperparameter optimizers (grid search, differential evolution, random search, SMAC) to defect prediction. No hyperparameter optimizer was observed to be best and, for one of the two evaluation measures studied here (F-measure), hyperparameter optimization, in 50\% cases, was no better than using default configurations. We conclude that hyperparameter optimization is more nuanced than previously believed. While such optimization can certainly lead to large improvements in the performance of classifiers used in software analytics, it remains to be seen which specific optimizers should be endorsed.

研究动机与目标

• 评估各种超参数优化器在软件分析中的有效性，特别是针对缺陷预测。
• 确定超参数调优是否在软件工程背景下始终能提升分类器性能。
• 评估是否存在某种优化器在不同评估指标下始终优于其他方法。
• 挑战当前普遍认为超参数调优在软件分析中普遍有益的假设。

提出的方法

• 将四种超参数优化器——网格搜索、差分进化、随机搜索和SMAC——应用于缺陷预测任务。
• 使用标准的软件缺陷预测数据集，评估多种分类器的性能。
• 采用两种评估指标衡量性能：F-measure 和另一未明确指定的指标（隐含为AUC或类似指标）。
• 将调优后模型的性能与使用默认超参数的模型进行对比。
• 在多个数据集上重复实验，以评估结果的一致性。
• 分析结果，以确定调优是否始终能提升性能，或默认配置是否具有竞争力。

实验结果

研究问题

• RQ1 在多个缺陷预测数据集和评估指标下，哪种超参数优化器表现最佳？
• RQ2 与默认配置相比，超参数调优是否在软件分析中始终能提升分类器性能？
• RQ3 调优在多大程度上无法超越默认超参数，尤其是在F-measure指标上？
• RQ4 是否存在某些特定条件，即使系统性地应用调优，也无法带来任何收益？

主要发现

• 在所有数据集和评估指标下，没有一种超参数优化器始终优于其他方法。
• 在F-measure指标上，与默认配置相比，超参数调优在50%的情况下未带来性能提升。
• 调优带来的性能增益高度依赖于所使用的数据集和评估指标。
• 在某些情况下，默认超参数的表现与调优模型相当甚至更优。
• 研究结果挑战了超参数调优在软件分析中普遍有益的假设。
• 本研究得出结论：超参数优化比以往认为的更为复杂，不存在在所有情况下都最优的单一调优器。