[论文解读] Rethinking Default Values: a Low Cost and Efficient Strategy to Define Hyperparameters

Rafael Gomes Mantovani, André Luis Debiaso Rossi+4 more|arXiv (Cornell University)|Jul 31, 2020

Machine Learning and Data Classification参考文献 40被引用 10

一句话总结

本文提出一种低成本策略，通过在150个多样化数据集上使用粒子群优化（PSO）对超参数进行调优，生成机器学习模型的优化默认超参数设置。所得到的'优化默认值'显著优于主流工具提供的标准默认值，减少了对完整超参数调优的需求，在计算成本极低的情况下实现了具有竞争力的性能。

ABSTRACT

Machine Learning (ML) algorithms have been increasingly applied to problems from several different areas. Despite their growing popularity, their predictive performance is usually affected by the values assigned to their hyperparameters (HPs). As consequence, researchers and practitioners face the challenge of how to set these values. Many users have limited knowledge about ML algorithms and the effect of their HP values and, therefore, do not take advantage of suitable settings. They usually define the HP values by trial and error, which is very subjective, not guaranteed to find good values and dependent on the user experience. Tuning techniques search for HP values able to maximize the predictive performance of induced models for a given dataset, but have the drawback of a high computational cost. Thus, practitioners use default values suggested by the algorithm developer or by tools implementing the algorithm. Although default values usually result in models with acceptable predictive performance, different implementations of the same algorithm can suggest distinct default values. To maintain a balance between tuning and using default values, we propose a strategy to generate new optimized default values. Our approach is grounded on a small set of optimized values able to obtain predictive performance values better than default settings provided by popular tools. After performing a large experiment and a careful analysis of the results, we concluded that our approach delivers better default values. Besides, it leads to competitive solutions when compared to tuned values, making it easier to use and having a lower cost. We also extracted simple rules to guide practitioners in deciding whether to use our new methodology or a HP tuning approach.

研究动机与目标

• 解决机器学习工具中次优默认超参数设置导致模型性能受限的挑战。
• 在提升预测性能的同时，减轻完整超参数调优带来的计算负担。
• 开发一种数据驱动策略，生成适用于多样化数据集的小型、高效默认超参数集合。
• 识别优化默认值优于完整调优的条件，提升实际可用性。
• 提供一个可重用、开源的框架，适用于其他机器学习算法生成优化默认值。

提出的方法

• 作者从OpenML选取了150个多样化数据集，以代表广泛的机器学习问题。
• 使用粒子群优化（PSO）搜索在数据集集合上最大化预测性能的超参数配置。
• 适应度函数通过复合指标聚合所有数据集上的性能表现，偏好稳健且一致的结果。
• 发现51个数据集的样本在超参数优化中实现了多样性与稳健性之间的最佳平衡。
• 基于最佳PSO解得出优化后的超参数设置，并与主流机器学习工具的标准默认值进行对比评估。
• 使用基于树的模型提取基于规则的决策标准，以预测在何种情况下优化默认值优于调优。

实验结果

研究问题

• RQ1 一个小型、优化后的默认超参数集合是否能优于机器学习工具提供的标准默认值？
• RQ2 所提出的方法是否能显著减少需要完整超参数调优的数据集数量？
• RQ3 哪些数据集特征可预测优化默认值或完整调优的优劣？
• RQ4 用于优化的训练数据集样本大小如何影响最终默认设置的稳健性与性能？
• RQ5 优化默认值是否能在显著降低计算成本的同时，实现与完整调优相当的性能？

主要发现

• 在所有测试场景中，优化后的默认超参数设置均显著优于标准默认值的预测性能。
• 基于实证评估，优化默认值使需要完整超参数调优的数据集数量减少了50%以上。
• 超参数优化的最优样本大小被确定为51个数据集，实现了稳健性与多样性的最佳平衡。
• 对于样本数少于100个、特征数少于20个的数据集，优化默认值始终优于调优。
• 对于样本数较多且类别分布均衡的数据集，完整超参数调优通常比使用优化默认值更有效。
• 所提方法在计算量减少数个数量级的前提下，实现了与完整调优相当的性能。