[论文解读] Unexpected Improvements to Expected Improvement for Bayesian Optimization

Sebastian Ament, Samuel Daulton+3 more|arXiv (Cornell University)|Oct 31, 2023

Gaussian Processes and Bayesian Inference被引用 43

一句话总结

本文提出 LogEI 及相关的对数采集函数，用以修正 EI 及其变体中的数值病理，从而显著提升贝叶斯优化的优化性能，包括并行与多目标设置。

ABSTRACT

Expected Improvement (EI) is arguably the most popular acquisition function in Bayesian optimization and has found countless successful applications, but its performance is often exceeded by that of more recent methods. Notably, EI and its variants, including for the parallel and multi-objective settings, are challenging to optimize because their acquisition values vanish numerically in many regions. This difficulty generally increases as the number of observations, dimensionality of the search space, or the number of constraints grow, resulting in performance that is inconsistent across the literature and most often sub-optimal. Herein, we propose LogEI, a new family of acquisition functions whose members either have identical or approximately equal optima as their canonical counterparts, but are substantially easier to optimize numerically. We demonstrate that numerical pathologies manifest themselves in "classic" analytic EI, Expected Hypervolume Improvement (EHVI), as well as their constrained, noisy, and parallel variants, and propose corresponding reformulations that remedy these pathologies. Our empirical results show that members of the LogEI family of acquisition functions substantially improve on the optimization performance of their canonical counterparts and surprisingly, are on par with or exceed the performance of recent state-of-the-art acquisition functions, highlighting the understated role of numerical optimization in the literature.

研究动机与目标

• 识别在基于改进的采集函数（如 EI 与 EHVI）中导致梯度消失的数值病理。
• 开发 LogEI 及其扩展，以缓解这些病理，同时保持与其规范对应物等效的最优解。
• 将 LogEI 概念扩展到受约束、并行和多目标的采集函数（CEI、qEI、qEHVI）并实现之。
• 在使用 BoTorch 实现的多样基准测试中，展示经验性能提升。

提出的方法

• 将 LogEI 定义为相较于 EI 的稳定替代，具有等效或近似等效的最优解。
• 提供数值稳定的 log_h 实现及其对数空间变体，用以计算 LogEI。
• 将 LogEI 框架扩展到受约束的 EI（LogCEI）、并行 EI（qLogEI），以及并行 EHVI（LogEHVI/qLogEHVI），并给出光滑近似。
• 表明 LogEI 家族可以在不增加计算成本的情况下实现。
• 在单目标、受约束、并行以及多目标贝叶斯优化基准测试中展示经验改进。
• 所有方法均在 BoTorch 中实现。

实验结果

研究问题

• RQ1 在实际的贝叶斯优化设置中，数值病理是否会导致 EI 与 EHVI 出现频繁的梯度消失？
• RQ2 LogEI 及其变体是否在提高数值稳定性和优化性能的同时提供相同的最优解？
• RQ3 在受约束、并行和多目标的贝叶斯优化中，LogCEI、qLogEI 与 qLogEHVI 是否优于其规范对应物？
• RQ4 在使用基于 LogEI 的采集函数时，是否并行 BO 的联合批量优化与串行贪婪策略具有竞争力或更优？

主要发现

• 与其规范对应物相比，LogEI 及其变体显著提升了优化性能。
• 解析的 LogEI 在获得与 EI 相同的贝叶斯优化策略的同时，数值优化行为显著改善。
• LogCEI 优于 CEI，并且在远少于文献中所用的函数评估次数的情况下可超越一些结果。
• 在并行 BO 中，使用 qLogEI 的联合批量优化可以与串行贪婪方法具有竞争力甚至超过之。
• 在多目标基准测试中，qLogEHVI 始终优于 qEHVI。
• 这些改进在计算成本上并未带来实质性增加，并且对各种问题类型具有鲁棒性。