[论文解读] Tunability: Importance of Hyperparameters of Machine Learning Algorithms

Philipp Probst, Bernd Bischl+1 more|arXiv (Cornell University)|Feb 26, 2018

Machine Learning and Data Classification参考文献 15被引用 572

一句话总结

论文将超参数调优形式化为统计问题，定义默认值和可调性度量，并在38个OpenML数据集上对6种算法进行基准测试，以量化调优在性能上的提升。它提供数据驱动的最优默认值、实用的调优空间，以及关于哪些超参数最重要的洞见。

ABSTRACT

Modern supervised machine learning algorithms involve hyperparameters that have to be set before running them. Options for setting hyperparameters are default values from the software package, manual configuration by the user or configuring them for optimal predictive performance by a tuning procedure. The goal of this paper is two-fold. Firstly, we formalize the problem of tuning from a statistical point of view, define data-based defaults and suggest general measures quantifying the tunability of hyperparameters of algorithms. Secondly, we conduct a large-scale benchmarking study based on 38 datasets from the OpenML platform and six common machine learning algorithms. We apply our measures to assess the tunability of their parameters. Our results yield default values for hyperparameters and enable users to decide whether it is worth conducting a possibly time consuming tuning strategy, to focus on the most important hyperparameters and to chose adequate hyperparameter spaces for tuning.

研究动机与目标

• 从统计角度正式化超参数调优问题并定义基于数据的默认值。
• 引入量化超参数及其组合可调性的度量。
• 开发使用代理模型估计可调性和最优调优空间的程序。
• 将该框架应用于大型的OpenML基准测试，以在各算法之间推导出实用默认值和见解。

提出的方法

• 将 R(θ) 定义为给定超参数配置 θ 时的期望风险。
• 通过最小化在 m 个数据集上的 R^{(j)}(theta) 摘要来提出最优默认值 θ*。
• 基于默认风险与最优风险之间的差异，引入可调性度量 d^(j) 和 d_i^(j)。
• 将可调性扩展到超参数对和联合增益 g_{i1,i2}，包括序列调优比较。
• 使用数据集分位数来定义最优超参数空间 Theta*，以捕捉稳健的调优范围。
• 使用代理模型（随机森林等）来估计 R^{(j)}(theta)，并通过黑盒优化来寻找默认值和调优。
• 在38个 OpenML100 二分类数据集上，使用六种算法（glmnet、rpart、kknn、svm、ranger、xgboost）及交叉验证来评估可调性。

实验结果

研究问题

• RQ1 默认值应如何定义，才能在多样的数据集上良好工作？
• RQ2 常见机器学习算法的总体可调性如何，哪些超参数最具影响力？
• RQ3 单独调优个别超参数与组合调优相比，增益有多大？
• RQ4 哪些合适的超参数调优空间能够捕捉到跨数据集性能提升的区域？
• RQ5 代理模型如何帮助估计可调性并指导自动调优？

主要发现

• 最优默认值在多种算法上的性能显著优于软件默认值，其可调性在方法之间存在差异。
• glmnet 和 svm 的可调性高于 ranger，研究中 ranger 的可调性最小。
• 单个超参数可能具有显著的可调性（例如 svm 的 gamma、lambda；xgboost 的 eta、booster）。
• 超参数对的联合调优往往比单独调优单个参数带来更大增益（例如 rpart 的 minsplit 和 minbucket）。
• 通过第5和第95百分位量化定义的调优空间覆盖了许多数据集的最优默认值，而某些包的默认值位于稳健范围之外。
• 代理模型（包括随机森林等）提供对 R(θ) 的可靠估计，以实现高效的调优决策。