[论文解读] Multi-Step Budgeted Bayesian Optimization with Unknown Evaluation Costs

Raul Astudillo, Daniel Jiang+3 more|arXiv (Cornell University)|Nov 12, 2021

Advanced Bandit Algorithms Research参考文献 38被引用 5

一句话总结

本文提出了一种非贪心的、有预算限制的多步期望改进获取函数，用于在评估成本未知且异质性较高的贝叶斯优化场景中。通过在多个步骤中联合优化函数改进与成本感知，该方法在合成问题和真实世界问题中均优于标准方法（如期望改进和单位成本期望改进），尤其在成本难以学习且受总预算约束时表现更优。

ABSTRACT

Bayesian optimization (BO) is a sample-efficient approach to optimizing costly-to-evaluate black-box functions. Most BO methods ignore how evaluation costs may vary over the optimization domain. However, these costs can be highly heterogeneous and are often unknown in advance. This occurs in many practical settings, such as hyperparameter tuning of machine learning algorithms or physics-based simulation optimization. Moreover, those few existing methods that acknowledge cost heterogeneity do not naturally accommodate a budget constraint on the total evaluation cost. This combination of unknown costs and a budget constraint introduces a new dimension to the exploration-exploitation trade-off, where learning about the cost incurs the cost itself. Existing methods do not reason about the various trade-offs of this problem in a principled way, leading often to poor performance. We formalize this claim by proving that the expected improvement and the expected improvement per unit of cost, arguably the two most widely used acquisition functions in practice, can be arbitrarily inferior with respect to the optimal non-myopic policy. To overcome the shortcomings of existing approaches, we propose the budgeted multi-step expected improvement, a non-myopic acquisition function that generalizes classical expected improvement to the setting of heterogeneous and unknown evaluation costs. Finally, we show that our acquisition function outperforms existing methods in a variety of synthetic and real problems.

研究动机与目标

• 解决贝叶斯优化中评估成本在搜索空间内未知且高度可变的问题。
• 形式化在总预算约束下平衡探索、利用与成本学习的挑战。
• 设计一种有原则的、非贪心的获取函数，能够同时考虑多步优化中的函数改进与成本异质性。
• 证明现有获取函数（如期望改进和单位成本期望改进）在此场景下可能任意次优。

提出的方法

• 提出一种新颖的获取函数——有预算多步期望改进（BMSEI），将经典期望改进扩展至处理未知且异质的评估成本。
• 将优化过程建模为多步序列决策问题，每一步同时考虑期望函数改进与累积成本。
• 使用概率模型（GP先验）联合建模目标函数与评估成本，二者初始均未知。
• 通过将所有步骤的期望总成本限制在预设范围内，引入预算约束，实现成本感知规划。
• 采用前瞻策略评估未来多步获取的期望改进，实现非贪心决策。
• 推导出在成本不确定性下的期望改进的解析近似，实现获取函数的高效优化。

实验结果

研究问题

• RQ1 当评估成本未知且异质时，现有获取函数（如期望改进和单位成本期望改进）是否可能任意次优？
• RQ2 如何设计一个贝叶斯优化框架，以非贪心、有预算约束的方式同时推理函数改进与成本学习？
• RQ3 成本异质性与未知成本对标准贝叶斯优化方法性能有何影响？
• RQ4 所提出的多步、有预算获取函数与基线方法相比，在收敛速度与最终解质量方面表现如何？
• RQ5 所提方法在真实世界超参数调优与基于仿真的优化任务中，是否能实现优于最先进方法的性能？

主要发现

• 所提出的有预算多步期望改进获取函数在合成问题与真实世界优化问题中，显著优于标准期望改进与单位成本期望改进。
• 在相同预算约束下，该方法在评估成本高度可变且初始未知时，能更优地收敛至全局最优。
• 实验结果表明，获取函数的非贪心特性可实现更高效的成本分配，并更快发现高性能区域。
• 该方法有效平衡了对高成本区域的学习与对已知高性能区域的利用，减少了无效评估。
• 在超参数调优与基于物理的仿真任务中，所提方法相比基线方法显著减少了达到最优性能所需的评估次数。