[论文解读] To tune or not to tune? An Approach for Recommending Important Hyperparameters

Mohamadjavad Bahmani, Radwa El Shawi+2 more|arXiv (Cornell University)|Aug 30, 2021

Machine Learning and Data Classification参考文献 33被引用 5

一句话总结

本文提出了一种基于函数型方差分析的统计框架，用于在200个数据集上识别六种分类器中最关键的超参数，使实践者能够判断超参数调优是否值得投入。研究发现，梯度提升和Adaboost是最具可调优性且表现最佳的算法，且不同算法与数据集的超参数重要性存在显著差异。

ABSTRACT

Novel technologies in automated machine learning ease the complexity of algorithm selection and hyperparameter optimization. Hyperparameters are important for machine learning models as they significantly influence the performance of machine learning models. Many optimization techniques have achieved notable success in hyperparameter tuning and surpassed the performance of human experts. However, depending on such techniques as blackbox algorithms can leave machine learning practitioners without insight into the relative importance of different hyperparameters. In this paper, we consider building the relationship between the performance of the machine learning models and their hyperparameters to discover the trend and gain insights, with empirical results based on six classifiers and 200 datasets. Our results enable users to decide whether it is worth conducting a possibly time-consuming tuning strategy, to focus on the most important hyperparameters, and to choose adequate hyperparameter spaces for tuning. The results of our experiments show that gradient boosting and Adaboost outperform other classifiers across 200 problems. However, they need tuning to boost their performance. Overall, the results obtained from this study provide a quantitative basis to focus efforts toward guided automated hyperparameter optimization and contribute toward the development of better-automated machine learning frameworks.

研究动机与目标

• 确定在多样化数据集上，哪些超参数对机器学习模型性能具有显著影响。
• 通过测量超参数优化带来的性能提升，量化不同分类器的可调优性。
• 为实践者提供数据驱动的指导，判断是否值得投入时间进行超参数调优。
• 基于实证证据，识别稳健的默认超参数配置及表现最佳的算法。
• 通过揭示算法特定的超参数重要性及其相互作用，支持更智能AutoML框架的开发。

提出的方法

• 采用函数型方差分析，将模型性能的方差分解为单个超参数及其交互作用的贡献。
• 使用来自OpenML的200个数据集基准，评估六种分类器：随机森林、SVM、Adaboost、Extra Trees、决策树和梯度提升。
• 对每个数据集应用贝叶斯优化进行超参数调优，共配置500种，以确保性能估计的稳健性。
• 将性能提升在数据集间的标准差作为可调优性的度量指标，比较基准配置与最优配置之间的性能差异。
• 基于所有数据集上的平均AUC性能对算法进行排序，并使用Wilcoxon符号秩检验评估统计显著性。
• 复用并验证既往研究（如van Rijn和Hutter，2017年）的发现，以确保一致性和可靠性。

实验结果

研究问题

• RQ1 在多样化数据集上，六种分类器各自的哪些超参数最具影响力？
• RQ2 对每种算法而言，通过超参数调优可实现多大的性能提升？
• RQ3 哪些机器学习算法最具可调优性，并在不同数据集上持续优于其他算法？
• RQ4 分类器的相对性能在不同数据集上如何变化？是否存在稳定的领先者？
• RQ5 能否识别出稳健的默认超参数设置，在保持高性能的同时最小化调优需求？

主要发现

• 梯度提升和Adaboost是最具可调优性且表现最佳的算法，在200个数据集上显著优于其他算法。
• 作为可调优性指标的性能提升在数据集间的标准差显示，SVM、梯度提升和Extra Trees具有高度可调优性，而决策树和随机森林的可调优性最低。
• 尽管可调优性最低，随机森林和决策树仍表现出强劲性能，表明在实践中简单性可能非常有效。
• 没有单一算法在所有数据集上占据主导地位：SVM在16个数据集上优于梯度提升，凸显了根据数据特征选择算法的重要性。
• 梯度提升与Adaboost之间的性能差异不具有统计显著性（p > 0.05），表明二者在实践中效果相似。
• 超参数的重要性在不同算法间存在显著差异，其中XGBoost类参数（如学习率、最大深度）在梯度提升和Adaboost中最具影响力。