[论文解读] Towards Automatic Bayesian Optimization: A first step involving acquisition functions

Eduardo C. Garrido‐Merchán, Luis C. Jariego Pérez|arXiv (Cornell University)|Mar 21, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用 4

一句话总结

本文提出了一种通过启发式集成方法动态选择获取函数（AFs）的自动贝叶斯优化框架，以减少对人工调参的依赖。该方法在基准函数和真实超参数调优任务中均表现出色，其中加权AF始终优于单一AF，并在噪声环境和高维设置下展现出鲁棒性。

ABSTRACT

Bayesian Optimization is the state of the art technique for the optimization of black boxes, i.e., functions where we do not have access to their analytical expression nor its gradients, they are expensive to evaluate and its evaluation is noisy. The most popular application of bayesian optimization is the automatic hyperparameter tuning of machine learning algorithms, where we obtain the best configuration of machine learning algorithms by optimizing the estimation of the generalization error of these algorithms. Despite being applied with success, bayesian optimization methodologies also have hyperparameters that need to be configured such as the probabilistic surrogate model or the acquisition function used. A bad decision over the configuration of these hyperparameters implies obtaining bad quality results. Typically, these hyperparameters are tuned by making assumptions of the objective function that we want to evaluate but there are scenarios where we do not have any prior information about the objective function. In this paper, we propose a first attempt over automatic bayesian optimization by exploring several heuristics that automatically tune the acquisition function of bayesian optimization. We illustrate the effectiveness of these heurisitcs in a set of benchmark problems and a hyperparameter tuning problem of a machine learning algorithm.

研究动机与目标

• 通过自动化获取函数选择，减少贝叶斯优化中对人工超参数调优的依赖。
• 探索结合多种获取函数的启发式集成方法，以提升优化的鲁棒性。
• 评估自动AF选择是否在黑箱优化中优于固定的手动选择获取函数。
• 评估集成AF在多样化基准函数和真实世界超参数调优任务中的有效性。
• 通过识别可靠且自适应的AF选择策略，为完全自动化的贝叶斯优化奠定基础。

提出的方法

• 作者提出一种基于启发式的集成方法，通过加权和Hedge-based策略组合多种获取函数（如期望改进、改进概率、置信下界）。
• 每个获取函数在迭代中被评估，其性能根据历史减少遗憾的表现进行动态加权。
• 该方法在每次迭代中使用网格搜索优化获取函数，重点是最小化绝对遗憾。
• 未来工作考虑使用概率图模型，潜在地利用深度学习从GP状态预测最优AF。
• 该框架在标准基准函数（Hartmann、Rastrigin）和使用梯度提升分类器在Digits数据集上的真实超参数调优任务中进行了测试。
• 作者主张在低评估次数场景下使用切片采样而非最大似然，以避免过拟合。

实验结果

研究问题

• RQ1 基于启发式的获取函数集成能否在贝叶斯优化中优于单独的人工选择获取函数？
• RQ2 对获取函数进行动态加权如何影响不同类型黑箱函数的优化性能？
• RQ3 自动获取函数选择是否能减少超参数优化中对专家调参的需求？
• RQ4 在具有多个局部最优解的函数（如Rastrigin）上，集成策略表现如何？
• RQ5 所提出的方法能否推广至真实世界机器学习超参数调优任务？

主要发现

• 加权获取函数在所有基准函数中表现最佳，包括Hartmann和Rastrigin函数，并在超参数调优实验中与最佳结果并列。
• 在Hartmann函数中，纯利用型AF（EI和PI）优于基于探索的策略，证实了在单峰平滑函数中探索是有害的。
• 集成AF（加权和Hedge）表现出鲁棒性，即使在个别AF失败时也能避免最差性能。
• Rastrigin函数因存在大量局部最优解，且获取函数优化采用网格搜索，导致标准差较高，表明需要更复杂的获取函数优化方法。
• 在Digits数据集上的真实超参数调优实验表明，加权AF优于其他策略，而随机搜索表现出人意料的优异性能，归因于有利的参数组合。
• 研究结论认为，基于集成的AF选择是迈向完全自动化贝叶斯优化的可行第一步，尤其在缺乏先验知识的场景中。