[论文解读] Practical Bayesian Optimization for Variable Cost Objectives

Mark McLeod, Michael A. Osborne+1 more|arXiv (Cornell University)|Mar 13, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用 16

一句话总结

本文提出EnvPES，一种针对评估成本可变的目标的实用贝叶斯优化方法，采用在输入变量和成本控制变量上均适用的预测熵搜索获取函数。该方法引入一种新颖且高效的采样策略，在提升近似精度的同时降低计算开销，从而在合成数据和真实世界基准测试（包括超参数调优与高斯过程核函数拟合）中实现比FABOLAS等先前方法更快的收敛速度。

ABSTRACT

We propose a novel Bayesian Optimization approach for black-box functions with an environmental variable whose value determines the tradeoff between evaluation cost and the fidelity of the evaluations. Further, we use a novel approach to sampling support points, allowing faster construction of the acquisition function. This allows us to achieve optimization with lower overheads than previous approaches and is implemented for a more general class of problem. We show this approach to be effective on synthetic and real world benchmark problems.

研究动机与目标

• 为解决在可调节评估保真度的昂贵黑箱目标优化问题中，评估成本与保真度之间的权衡挑战。
• 开发一种实用的贝叶斯优化框架，动态选择输入点与评估保真度，以最小化总成本。
• 降低基于熵的获取函数中的计算开销，以解决其先前在可扩展性方面的限制。
• 在高评估成本问题（如超参数调优与核参数拟合）中实现有效优化。
• 为现有可变成本贝叶斯优化方法提供一种更通用且高效的替代方案。

提出的方法

• 提出一种基于预测熵搜索（PES）的新获取函数，扩展至可连续控制评估成本的环境变量。
• 引入一种用于支持点的新采样策略，其对全局最小值$x_*$后验分布的近似优于传统切片采样。
• 采用Matérn 5/2核以增强在多样化优化问题中的灵活性与鲁棒性。
• 通过切片采样实现超参数边际化，以考虑高斯过程模型中的不确定性。
• 利用采样支持点上的蒙特卡洛近似构建获取函数，以估计互信息。
• 对对数似然应用连续单调变换，以归一化子集评估结果，实现在不同数据集规模下的稳定优化。

实验结果

研究问题

• RQ1 基于连续环境变量的贝叶斯优化框架能否有效平衡评估成本与保真度？
• RQ2 所提出的采样策略如何提升基于熵的获取函数的精度与效率？
• RQ3 与现有可变成本贝叶斯优化方法相比，该方法是否能在更低总成本下实现更快收敛？
• RQ4 该方法能否在高评估成本的真实世界机器学习问题中有效应用？
• RQ5 计算开销在可变成本设置下如何影响基于熵的获取函数的实际性能？

主要发现

• 在合成基准测试（包括Branin、Hartman 3D与Hartman 6D函数）中，EnvPES的性能与FABOLAS和PES相当或更优。
• 在MNIST SVM超参数调优任务中，EnvPES在达到低误差率方面优于其他方法，尽管FABOLAS在评估成本性能上相似。
• 在英国电力需求数据的高斯过程核函数拟合任务中，EnvPES成功在低至全数据集2%的子集上实现优化，且在实际运行时间上收敛快于FABOLAS。
• 所提出的采样方法显著降低了计算开销，使EnvPES在总时间上优于FABOLAS，尽管其评估成本性能相近。
• EnvPES在多种问题类型（包括合成函数、超参数调优与真实世界时间序列建模）中表现出鲁棒性与高效性。
• 由于获取函数评估计算成本的降低，该方法使此前因计算不可行而无法优化的可变成本目标得以实际应用。