[论文解读] Optimization, fast and slow: optimally switching between local and Bayesian optimization

Mark McLeod, Michael A. Osborne+1 more|arXiv (Cornell University)|May 22, 2018

Advanced Bandit Algorithms Research参考文献 11被引用 15

一句话总结

BLOSSOM 是一种新颖的贝叶斯优化算法，能够在每一步动态切换多个采集函数与局部优化，结合了贝叶斯方法的探索能力与局部搜索的快速收敛特性。它引入了一种基于遗憾的合理停止准则，当预期遗憾低于用户定义的阈值时自动终止优化，相比现有方法显著提升了收敛性能并降低了评估成本。

ABSTRACT

We develop the first Bayesian Optimization algorithm, BLOSSOM, which selects between multiple alternative acquisition functions and traditional local optimization at each step. This is combined with a novel stopping condition based on expected regret. This pairing allows us to obtain the best characteristics of both local and Bayesian optimization, making efficient use of function evaluations while yielding superior convergence to the global minimum on a selection of optimization problems, and also halting optimization once a principled and intuitive stopping condition has been fulfilled.

研究动机与目标

• 为解决固定预算贝叶斯优化的低效问题，提出一种基于预期遗憾的自动停止准则。
• 通过在每次迭代中智能切换贝叶斯优化与局部优化，提升收敛速度与全局最优性。
• 通过选择性使用局部搜索，克服标准高斯过程贝叶斯优化在局部收敛性差的问题。
• 通过用合理且自适应的停止条件替代固定迭代次数，减少对优化预算的手动调参需求。
• 在基准问题与真实世界问题上，以更少的函数评估次数实现更优的最终解质量。

提出的方法

• BLOSSOM 在每一步通过比较多个采集函数（如期望改进、预测熵搜索）与局部优化的预期效用，选择下一个评估点。
• 它使用高斯过程对目标函数建模，并维护函数值及其不确定性的后验分布。
• 该算法采用一种新颖的基于预期遗憾的停止准则，当估计遗憾低于用户指定阈值时停止。
• 贝叶斯优化与局部优化之间的选择基于哪种方式能预测带来最大的预期遗憾减少。
• 该方法在一个统一的自适应框架中整合了探索（通过贝叶斯采集函数）与开发（通过局部优化）。
• 它采用基于阈值的停止规则，具有可解释性，并通过考虑完整的高斯过程模型而非仅局部变化，避免过早终止。

实验结果

研究问题

• RQ1 在昂贵的黑箱优化中，动态切换贝叶斯优化与局部优化是否能提升收敛速度与最终解质量？
• RQ2 基于遗憾的停止准则是否能替代固定迭代预算，同时保持或提升优化性能？
• RQ3 将多个采集函数与局部搜索结合，是否能降低收敛到较差局部极小值的风险？
• RQ4 在最终遗憾与评估效率方面，BLOSSOM 与标准贝叶斯优化方法（如 PES、EI）相比表现如何？
• RQ5 所提出的停止准则是否能可靠地在达到足够收敛后终止优化，而无需人工干预？

主要发现

• 在六个基准函数中的五个上，BLOSSOM 达到了最低的最终遗憾，包括 Branin、Camel 3hump 和 Hartmann 4D，在 Hartmann 4D 上的中位遗憾为 5.21e-14。
• 在 Hartmann 6D 问题上，使用 10^-4 遗憾阈值的 BLOSSOM 实现了 0.0638 的遗憾，显著优于 PES（0.196）和 EI（0.0229），且评估次数相近。
• 在 Hartmann 6D 上，BLOSSOM 使用 10^-4 阈值时，将步长-遗憾乘积降低至 19.1，而 PES 为 37.6，EI 为 5.28，表明其效率更优。
• 在英国电力需求数据上对高斯过程超参数优化中，BLOSSOM 在终止时的收敛性比 PES 和 EI 提升了数个数量级。
• 该方法通过在预期遗憾低于目标时停止，持续减少了不必要的评估次数，相比固定预算方法节省了计算资源。
• 当使用更严格的遗憾阈值 10^-4 时，BLOSSOM 在避免局部极小值方面表现出更强的可靠性，虽需更多探索步骤，但最终结果更优。