[论文解读] Unbounded Bayesian Optimization via Regularization

Bobak Shahriari, Alexandre Bouchard‐Côté+1 more|arXiv (Cornell University)|Aug 14, 2015

Advanced Bandit Algorithms Research参考文献 18被引用 16

一句话总结

本文提出了一种基于正则化的方法和一种体积加倍启发式方法，使贝叶斯优化能够自动将其搜索空间扩展到初始边界框之外，从而无需用户指定边界。主要贡献在于引入了一种非平稳先验均值，作为对获取函数最大化的正则化，使无约束优化成为可能，同时保持性能，实证结果表明在神经网络超参数调优中探索能力得到提升，且测试准确率更高。

ABSTRACT

Bayesian optimization has recently emerged as a popular and efficient tool for global optimization and hyperparameter tuning. Currently, the established Bayesian optimization practice requires a user-defined bounding box which is assumed to contain the optimizer. However, when little is known about the probed objective function, it can be difficult to prescribe such bounds. In this work we modify the standard Bayesian optimization framework in a principled way to allow automatic resizing of the search space. We introduce two alternative methods and compare them on two common synthetic benchmarking test functions as well as the tasks of tuning the stochastic gradient descent optimizer of a multi-layered perceptron and a convolutional neural network on MNIST.

研究动机与目标

• 解决标准贝叶斯优化中需要预先定义搜索空间边界框的局限性。
• 在真实最优解位于初始边界之外时，实现优化过程中搜索空间的自动扩展。
• 开发一种实用、即插即用的方法，与现有的基于高斯过程的贝叶斯优化框架兼容。
• 在合成数据和真实世界的超参数调优任务中，比较基于正则化和基于启发式的两种方法的性能。
• 证明无约束优化可优于有界方法，尤其是在初始边界框排除全局最优解时。

提出的方法

• 在高斯过程先验中引入非平稳先验均值作为正则化项，防止获取函数在无穷远处出现最大值，从而实现无约束优化。
• 采用铰链-二次正则化函数，对初始搜索框边界附近的点施加惩罚，促进更均匀的探索。
• 提出一种体积加倍启发式方法，通过在固定时间间隔内系统性地将搜索空间体积加倍来扩展搜索范围。
• 在正则化后的高斯过程先验上应用标准期望改进（EI）获取函数，使标准优化工具无需修改即可使用。
• 采用具有非平稳均值的高斯过程先验来建模目标函数，同时确保获取函数essupremum有界。
• 以与现有贝叶斯优化工具箱兼容的方式实现该方法，仅需更改先验均值。

实验结果

研究问题

• RQ1 能否通过实现搜索空间的自动扩展，使贝叶斯优化对初始边界框选择不佳的情况更具鲁棒性？
• RQ2 对高斯过程先验均值进行正则化如何影响无约束优化中的探索行为和收敛性？
• RQ3 在高维和噪声较大的场景下，简单的体积加倍启发式方法与正则化获取函数最大化的性能如何比较？
• RQ4 当真实最优解位于初始区域之外时，所提出的方法是否能提升超参数调优性能？
• RQ5 与标准贝叶斯优化相比，所提出方法在收敛速度和最终解质量方面表现如何？

主要发现

• 在MLP-MNIST任务中，铰链-二次正则化获取函数（EI-H）相比标准期望改进方法，测试准确率提升了20%。
• 在CNN-MNIST任务中，EI-H相比标准期望改进方法，测试准确率提高了近10%，表明其在无界优化中表现强劲。
• 体积加倍启发式方法在实践中表现良好，尤其在低维到中等维度下，可作为强有力的基线。
• 可视化结果表明，EI-H和EI-Q避免选择初始框角落和边界的点，而标准EI和体积加倍变体则不会。
• 所提出的方法成功探索了初始边界框之外的区域，证实其在初始框排除全局最优解时仍能定位最优解。
• 正则化方法通过消除对边界框的需求，实现了无约束优化，同时保持与标准基于高斯过程的优化流水线的兼容性。