[论文解读] SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization

Marius Lindauer, Katharina Eggensperger+7 more|arXiv (Cornell University)|Sep 20, 2021

Machine Learning and Data Classification参考文献 38被引用 83

一句话总结

SMAC3 是一个灵活的开源贝叶斯优化包，支持多种用例（HPO、CASH、MF、AC），具有多种外观、代理、采集策略，能够在不同任务中实现鲁棒超参数优化。

ABSTRACT

Algorithm parameters, in particular hyperparameters of machine learning algorithms, can substantially impact their performance. To support users in determining well-performing hyperparameter configurations for their algorithms, datasets and applications at hand, SMAC3 offers a robust and flexible framework for Bayesian Optimization, which can improve performance within a few evaluations. It offers several facades and pre-sets for typical use cases, such as optimizing hyperparameters, solving low dimensional continuous (artificial) global optimization problems and configuring algorithms to perform well across multiple problem instances. The SMAC3 package is available under a permissive BSD-license at https://github.com/automl/SMAC3.

研究动机与目标

• 说明在不同数据集和任务中找到表现良好的超参数配置的重要性。
• 通过提供多种用例外观，提供一个对任务差异具有鲁棒性的灵活 BO 框架。
• 通过 Python 和 CLI 界面实现易于上手，提供并行化选项和模块化设计。

提出的方法

• 实现了多种贝叶斯优化方法和采集函数（例如：GP + EI、EI per second、logEI、LCB、TS、PI）。
• 支持多种外观（SMAC4BB、SMAC4HPO、SMAC4MF、SMAC4AC），以将 BO 调整为低维连续优化、CASH、多保真任务和算法配置。
• 使用代理模型，如随机森林和高斯过程，初始设计通过 Sobol 序列或随机搜索。
• 通过将 Hyperband 与 BO 相结合（BOHB 风格的方法）来整合多保真优化，并在各保真水平使用 RF 代理。
• 在 AC 上实现积极的竞赛和对被删失数据的插补，并提供专用的 TAE（Target Algorithm Evaluator）接口和 CLI。
• 通过 DASK 进行并行化，以及基于文件系统的独立 SMAC3 实例。

实验结果

研究问题

• RQ1 SMAC3 是否能够在多种不同问题设置中，利用其多种外观，鲁棒地优化超参数？
• RQ2 相较基线，SMAC3 的代理模型和采集策略在低维 HPO、CASH、多保真和 AC 任务中的表现如何？
• RQ3 在基准问题上，SMAC3 的多保真和积极竞赛机制的经验性能如何？
• RQ4 通过其接口（Python 和 CLI）及并行化选项，SMAC3 是否提供了实际可用的好处？
• RQ5 在标准 HPO 基准测试中，SMAC3 与其他 BO 工具（如 Dragonfly、BOHB、Hyperband）相比如何？

主要发现

• 通过组合不同的 BO 方法和强化策略，SMAC3 在多样化的 HPO 任务中提供了稳健的性能。
• 在多保真设置中，SMAC3 基于 RF 的代理配合 Hyperband 风格的预算在初期与 Hyperband 匹配，中段表现出色，最终赶上使用 RF 的纯 BO。
• 在报道的实验中，SMAC3 一贯优于 Dragonfly，在后期阶段也超越了在代理基准上的 BOHB。
• 经验比较包括来自 HPOBench 的 Net Letter、Naval Propulsion、Nas1Shot1-2 基准，运行时间通过代理进行模拟。
• 本文将 SMAC3 定位为 AutoML 工具（auto-sklearn、Auto-PyTorch）的一部分，并在 BBO 挑战中具竞争力。