[论文解读] On Local Optimizers of Acquisition Functions in Bayesian Optimization

Jungtaek Kim, Seungjin Choi|arXiv (Cornell University)|Jan 24, 2019

Advanced Bandit Algorithms Research参考文献 20被引用 13

一句话总结

本文分析了在贝叶斯优化获取函数中使用局部优化器而非全局优化器所带来的性能损失。论文为局部优化与多起点局部优化方法在瞬时遗憾差异上提供了理论上的上界，表明多起点策略能显著收紧遗憾边界。实验结果证实，多起点局部优化在计算成本远低于全局优化的情况下，性能可接近全局优化。

ABSTRACT

Bayesian optimization is a sample-efficient method for finding a global optimum of an expensive-to-evaluate black-box function. A global solution is found by accumulating a pair of query point and its function value, repeating these two procedures: (i) modeling a surrogate function; (ii) maximizing an acquisition function to determine where next to query. Convergence guarantees are only valid when the global optimizer of the acquisition function is found at each round and selected as the next query point. In practice, however, local optimizers of an acquisition function are also used, since searching for the global optimizer is often a non-trivial or time-consuming task. In this paper we consider three popular acquisition functions, PI, EI, and GP-UCB induced by Gaussian process regression. Then we present a performance analysis on the behavior of local optimizers of those acquisition functions, in terms of {\em instantaneous regrets} over global optimizers. We also introduce an analysis, allowing a local optimization method to start from multiple different initial conditions. Numerical experiments confirm the validity of our theoretical analysis.

研究动机与目标

• 量化在获取函数优化中使用局部优化器替代全局优化器时的性能损失。
• 为常见获取函数的全局与局部优化器之间的瞬时遗憾差异提供理论边界。
• 分析在局部优化中使用多个随机起点时，遗憾边界所获得的改进。
• 通过基准函数和真实世界贝叶斯优化设置，实证验证理论边界。
• 证明多起点局部优化可作为计算效率更高的替代方案，在遗憾损失极小的情况下实现接近全局优化的性能。

提出的方法

• 通过高斯过程模型的利普希茨连续性和后验方差性质，理论分析推导出全局与局部优化器之间瞬时遗憾差异的上界。
• 论文提出一种多起点局部优化策略，即从多个不同初始点运行L-BFGS-B，以提高收敛至近似全局最优解的能力。
• 关键边界通过概率不等式以及获取函数梯度和曲率的性质推导得出。
• 通过建模在全局优化器附近一定距离内找到点的概率，将理论结果扩展至多起点设置。
• 实证验证使用标准基准函数（如Branin、Hartmann6D）与EI获取函数及GP回归，比较DIRECT（全局）、单一起点局部优化与多起点局部优化的遗憾表现。
• 性能通过遗憾差异与计算成本进行衡量，跨9个测试函数报告移动平均值与统计边界。

实验结果

研究问题

• RQ1 在获取函数最大化中，若使用局部优化器而非全局优化器，瞬时遗憾差异的理论最紧上界是多少？
• RQ2 在局部优化中使用多个随机初始化时，遗憾边界如何变化？
• RQ3 多起点局部优化能否在降低计算成本的同时，实现与全局优化相当的遗憾性能？
• RQ4 在贝叶斯优化中，使用局部与全局获取最大化器时，遗憾差异如何随迭代次数演变？
• RQ5 在获取函数优化中，计算效率与遗憾性能之间的权衡如何？

主要发现

• 推导出全局与局部优化器之间瞬时遗憾差异的理论最紧上界，并表明其依赖于高斯过程模型的利普希茨常数与后验方差。
• 多起点局部优化的遗憾边界显著优于单一起点局部优化，且该边界随起点数N呈指数下降。
• 实证结果表明，随着起点数增加，遗憾差异减小，当起点数为1000时，多数情况下性能接近DIRECT。
• 多起点局部优化的计算成本随N增加，但当N ≤ 1000时，仍远低于DIRECT，且L-BFGS-B(100)为实际可行的折中方案。
• 在9个基准函数中的8个中，多起点局部优化（N ≥ 100）的遗憾差异在全局优化器的2倍以内，且收敛质量损失极小。
• 多起点局部优化器找到距离全局优化器ϵ以内的点的概率随N增加而上升，且该边界的衰减形式为(1−βg)^N，支持多起点策略的有效性。