[论文解读] Pareto-efficient Acquisition Functions for Cost-Aware Bayesian Optimization

Gauthier Guinet, Valerio Perrone+1 more|arXiv (Cornell University)|Nov 23, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 34被引用 5

一句话总结

本文通过在成本-精度权衡前沿重新定义获取函数，提出了一种成本感知贝叶斯优化的帕累托高效框架。它引入了一种新颖的期望改进变体——CEI（成本增强改进），可动态平衡成本与性能，在144个真实世界超参数优化问题中，相比EI和EIpu，速度提升最高达50%，且对成本-精度权衡的控制更优。

ABSTRACT

Bayesian optimization (BO) is a popular method to optimize expensive black-box functions. It efficiently tunes machine learning algorithms under the implicit assumption that hyperparameter evaluations cost approximately the same. In reality, the cost of evaluating different hyperparameters, be it in terms of time, dollars or energy, can span several orders of magnitude of difference. While a number of heuristics have been proposed to make BO cost-aware, none of these have been proven to work robustly. In this work, we reformulate cost-aware BO in terms of Pareto efficiency and introduce the cost Pareto Front, a mathematical object allowing us to highlight the shortcomings of commonly used acquisition functions. Based on this, we propose a novel Pareto-efficient adaptation of the expected improvement. On 144 real-world black-box function optimization problems we show that our Pareto-efficient acquisition functions significantly outperform previous solutions, bringing up to 50% speed-ups while providing finer control over the cost-accuracy trade-off. We also revisit the common choice of Gaussian process cost models, showing that simple, low-variance cost models predict training times effectively.

研究动机与目标

• 解决标准贝叶斯优化的局限性，即假设评估成本均匀，而现实中超参数评估的成本差异极大。
• 识别并形式化现有成本感知启发式方法（如EIpu和EI-cool）的不足，这些方法缺乏理论稳健性。
• 开发一种原则性、帕累托高效的获取函数，实现在优化精度与评估成本之间动态、自适应的权衡控制。
• 在144个真实世界超参数优化问题上实证验证所提方法，证明其在性能上优于经典方法和近期的低成本感知基线。

提出的方法

• 将成本感知贝叶斯优化重新表述为一个双目标问题，同时最小化函数值和评估成本，以成本帕累托前沿作为理论基础。
• 提出一种新颖的获取函数CEI（成本增强改进），其源自期望改进与成本的加权组合，配备一个动态调整的敏感度参数α。
• 在每次迭代中根据当前在成本-精度帕累托前沿上的位置动态调整α，实现对权衡的实时控制。
• 采用简单的线性模型进行成本预测，结果表明其在训练时间预测方面优于常用的扭曲高斯过程。
• 在序列贝叶斯优化循环中应用CEI获取函数，其中下一个点的选择基于当前成本-精度权衡下期望改进的最大化。
• 采用双目标优化框架，其中获取函数源自改进与成本的加权和，α通过帕累托前沿动态特性进行调优。

实验结果

研究问题

• RQ1 在实践中，如EIpu和EI-cool等常用成本感知获取函数表现如何，其理论局限性是什么？
• RQ2 成本感知贝叶斯优化的帕累托高效公式是否能带来更稳健、更可控的超参数调优？
• RQ3 在优化过程中动态调整成本敏感度参数α是否优于固定值或启发式调度策略，从而提升性能？
• RQ4 不同的成本建模方法（如高斯过程与线性模型）如何影响成本感知BO的准确性与效率？
• RQ5 所提方法是否能在多样化的现实世界超参数优化问题中持续优于标准EI和现有成本感知基线？

主要发现

• 所提出的CEI获取函数在144个真实世界超参数调优问题中，相比标准EI和EIpu，优化速度最高提升50%。
• CEI在低预算场景下持续优于EIpu，且即使在高预算环境下也超越标准EI，展现出卓越的鲁棒性。
• 该方法实现了对成本-精度权衡的细粒度控制：当α=0.01时，节省20%的运行时间且精度无损失；当α=0.1时，节省50%时间仅导致1%的精度损失。
• 用于成本预测的简单线性模型在预测训练时间方面优于扭曲高斯过程，挑战了文献中普遍存在的假设。
• 通过帕累托前沿实现α的动态适应，其性能优于固定α策略，表现为CEI所选的平均α随时间推移而变化，以响应优化景观的变化。
• 成本帕累托前沿提供了清晰、平滑的权衡曲线，使得在不同成本约束下实现可解释且可控的优化成为可能。