[论文解读] Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints

Eduardo C. Garrido‐Merchán, Daniel Hernández-Lobato|arXiv (Cornell University)|Apr 1, 2020

Gaussian Processes and Bayesian Inference参考文献 31被引用 7

一句话总结

本文提出PPESMOC，这是首个针对具有约束条件的多目标问题的并行贝叶斯优化方法，可在同时评估多个昂贵的黑箱函数（目标函数与约束条件）的情况下运行。该方法通过在帕累托集上最大化预期熵减少量，将预测熵搜索扩展至批量获取策略，实现了在并行评估下的高效、可扩展优化，在合成任务、基准测试和真实世界任务（包括神经架构搜索）中均优于顺序基线方法。

ABSTRACT

Real-world problems often involve the optimization of several objectives under multiple constraints. An example is the hyper-parameter tuning problem of machine learning algorithms. In particular, the minimization of the estimation of the generalization error of a deep neural network and at the same time the minimization of its prediction time. We may also consider as a constraint that the deep neural network must be implemented in a chip with an area below some size. Here, both the objectives and the constraint are black boxes, i.e., functions whose analytical expressions are unknown and are expensive to evaluate. Bayesian optimization (BO) methodologies have given state-of-the-art results for the optimization of black-boxes. Nevertheless, most BO methods are sequential and evaluate the objectives and the constraints at just one input location, iteratively. Sometimes, however, we may have resources to evaluate several configurations in parallel. Notwithstanding, no parallel BO method has been proposed to deal with the optimization of multiple objectives under several constraints. If the expensive evaluations can be carried out in parallel (as when a cluster of computers is available), sequential evaluations result in a waste of resources. This article introduces PPESMOC, Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints, an information-based batch method for the simultaneous optimization of multiple expensive-to-evaluate black-box functions under the presence of several constraints. Iteratively, PPESMOC selects a batch of input locations at which to evaluate the black-boxes so as to maximally reduce the entropy of the Pareto set of the optimization problem. We present empirical evidence in the form of synthetic, benchmark and real-world experiments that illustrate the effectiveness of PPESMOC.

研究动机与目标

• 解决在可并行评估的前提下，现有贝叶斯优化方法在多目标、有约束问题上的不足。
• 开发一种可扩展的信息论型获取函数，通过选择输入点批次以最大化对帕累托集不确定性的减少。
• 克服顺序贝叶斯优化方法在存在并行计算资源时仍逐点评估所导致的低效问题。
• 实现在预测时间与芯片面积约束下，深度神经网络超参数高效调优。
• 在合成问题、基准问题和真实世界问题（包括带硬件约束的神经架构搜索）上对方法进行实证验证。

提出的方法

• PPESMOC通过预测熵最小化策略，将PESMOC（带约束的多目标贝叶斯优化预测熵搜索）扩展至批量设置。
• 获取函数估计在并行评估一批输入点时，对帕累托集熵的预期减少量。
• 使用概率代理模型（高斯过程）预测该批输入点处目标函数与约束条件的联合分布。
• 将获取函数表述为对未来观测的期望，从而实现对批量位置的高效优化。
• 支持可变批量大小，且在大批量情况下相比顺序重新优化策略具有更好的可扩展性。
• 该算法通过迭代最大化对全局帕累托最优解的信息增益来选择批次。

实验结果

研究问题

• RQ1 批量贝叶斯优化方法能否在具有多个约束的多目标问题中有效减少对帕累托集的不确定性？
• RQ2 在评估预算有限的情况下，并行获取与顺序获取在收敛速度和解质量方面有何差异？
• RQ3 与迭代式顺序方法相比，所提出的基于信息论的批量获取函数在批量大小增加时是否具备高效的可扩展性？
• RQ4 PPESMOC能否在有约束的多目标优化任务中超越当前最先进的顺序贝叶斯优化方法？
• RQ5 在真实世界应用中（如带硬件约束的深度神经网络超参数调优），PPESMOC的性能如何？

主要发现

• 在神经网络实验中，经过60次评估后，PPESMOC的超体积表现与PS_PESMOC相当或略优（29.23 ± 0.38 vs. 29.09 ± 0.97）。
• PPESMOC显著优于PS_BMOO和随机搜索，后两者的超体积更低（分别为28.46 ± 1.54 和 28.58 ± 0.81）。
• 该方法在批量大小增加时表现出高效的可扩展性，避免了为批次中每个点重新运行顺序优化所带来的高昂计算成本。
• 在真实世界深度神经网络超参数调优任务中，PPESMOC在1 mm²芯片面积约束下，找到了在泛化误差与预测时间之间权衡更优的模型。
• 在合成问题与基准问题上的实证结果表明，PPESMOC比顺序基线方法更快速地减少对帕累托前沿的不确定性。
• PPESMOC获得的平均帕累托前沿在相同预测时间下，对预测误差的最小化表现出轻微但一致的改进，优于PS_PESMOC。