[论文解读] Practical Batch Bayesian Optimization for Less Expensive Functions

Loc Nguyen, Sunil Gupta+3 more|arXiv (Cornell University)|Nov 5, 2018

Advanced Bandit Algorithms Research参考文献 22被引用 3

一句话总结

该论文提出 UCB-DE，一种适用于评估成本较低的黑箱函数的实用批量贝叶斯优化方法，采用基于距离的探索策略，并借助 Sobol 序列引导，避免为每个批量点进行昂贵的全局优化。该方法在显著降低计算时间（相比 BUCB 最快达 6 倍）的同时，保持了具有竞争力的收敛性能，尤其在低至中等评估成本设置下表现优异。

ABSTRACT

Bayesian optimization (BO) and its batch extensions are successful for optimizing expensive black-box functions. However, these traditional BO approaches are not yet ideal for optimizing less expensive functions when the computational cost of BO can dominate the cost of evaluating the blackbox function. Examples of these less expensive functions are cheap machine learning models, inexpensive physical experiment through simulators, and acquisition function optimization in Bayesian optimization. In this paper, we consider a batch BO setting for situations where function evaluations are less expensive. Our model is based on a new exploration strategy using geometric distance that provides an alternative way for exploration, selecting a point far from the observed locations. Using that intuition, we propose to use Sobol sequence to guide exploration that will get rid of running multiple global optimization steps as used in previous works. Based on the proposed distance exploration, we present an efficient batch BO approach. We demonstrate that our approach outperforms other baselines and global optimization methods when the function evaluations are less expensive.

研究动机与目标

• 为评估成本不高但贝叶斯优化自身计算成本成为瓶颈的批量贝叶斯优化场景填补空白。
• 设计一种可扩展的批量贝叶斯优化算法，在保持有效探索与利用的同时最小化计算开销。
• 用单次全局优化加空间填充替代为批量选择重复进行的迭代全局优化。
• 在模拟器实验和采集函数优化等实际应用场景中验证该方法，这些场景的评估成本中等。
• 证明在评估成本较低的场景下，计算效率可显著提升，而不会牺牲优化性能。

提出的方法

• 提出一种新颖的距离探索（DE）策略，基于与已有观测点的几何距离选择批量点，以促进探索。
• 利用 Sobol 序列高效生成远离已观测位置的空间填充点，替代多次全局优化步骤。
• 提出 UCB-DE，一种两阶段批量贝叶斯优化算法：首点通过标准 UCB 采集函数选择，其余点通过结合 Sobol 序列的 DE 策略生成。
• 利用 Sobol 序列的低差异特性，确保搜索空间的均匀覆盖，且无需为每个点重新训练高斯过程模型。
• 避免为每个批量点重复进行高斯过程后验更新及复杂优化，相比 BUCB、DPP 和 LP 方法显著降低计算成本。
• 采用单次全局优化选择首点（通过 UCB），其余点通过 Sobol 序列确定性采样生成，实现快速且可扩展的批量生成。

实验结果

研究问题

• RQ1 能否设计一种在函数评估成本不高时计算高效的批量贝叶斯优化方法？
• RQ2 基于距离的探索策略结合 Sobol 序列是否在评估成本较低的函数批量选择中优于迭代全局优化？
• RQ3 单次全局优化加确定性空间填充是否能实现相比现有批量贝叶斯优化方法更高的计算效率？
• RQ4 在真实世界中评估成本中等的函数上，所提出的 UCB-DE 方法与基线方法相比，在收敛速度和优化性能方面表现如何？
• RQ5 在批量贝叶斯优化中，Sobol 序列的使用在降低计算成本的同时，能在多大程度上保持探索质量？

主要发现

• 在所有基准测试和实际应用中，UCB-DE 以最短时间实现最佳优化性能，优于 BUCB、L-BFGS-B 和 Direct 方法。
• 在 PES 采集函数优化中，UCB-DE 将优化时间从 800 秒减少至 100 秒，实现 6 倍速提升，且达到相同的最优值。
• 随着批量大小增加，UCB-DE 的计算时间几乎保持不变，而 BUCB 的时间因重复全局优化步骤而显著上升。
• 在 6 维 Hartmann 函数实验中，UCB-DE 比 BUCB 快 3 至 6 倍，同时达到相当或更优的收敛性能。
• 该方法在高维设置（d=10）下仍保持高性能，展现出良好的鲁棒性与可扩展性。
• 随机搜索结合 UCB（UCB-Rand）表现出人意料的良好性能，但 UCB-DE 在速度与精度上仍优于它，尤其在复杂或高维问题中。