[论文解读] Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement

Samuel Daulton, Maximilian Balandat+1 more|arXiv (Cornell University)|May 17, 2021

Advanced Multi-Objective Optimization Algorithms被引用 92

一句话总结

本文提出用于带噪声的多目标贝叶斯优化的 NEHVI，以及使用缓存盒分解的可扩展并行变体 q NEHVI，以处理带噪声的大批量，达到最先进的性能。

ABSTRACT

Optimizing multiple competing black-box objectives is a challenging problem in many fields, including science, engineering, and machine learning. Multi-objective Bayesian optimization (MOBO) is a sample-efficient approach for identifying the optimal trade-offs between the objectives. However, many existing methods perform poorly when the observations are corrupted by noise. We propose a novel acquisition function, NEHVI, that overcomes this important practical limitation by applying a Bayesian treatment to the popular expected hypervolume improvement (EHVI) criterion and integrating over this uncertainty in the Pareto frontier. We argue that, even in the noiseless setting, generating multiple candidates in parallel is an incarnation of EHVI with uncertainty in the Pareto frontier and therefore can be addressed using the same underlying technique. Through this lens, we derive a natural parallel variant, $q$NEHVI, that reduces computational complexity of parallel EHVI from exponential to polynomial with respect to the batch size. $q$NEHVI is one-step Bayes-optimal for hypervolume maximization in both noisy and noiseless environments, and we show that it can be optimized effectively with gradient-based methods via sample average approximation. Empirically, we demonstrate not only that $q$NEHVI is substantially more robust to observation noise than existing MOBO approaches, but also that it achieves state-of-the-art optimization performance and competitive wall-times in large-batch environments.

研究动机与目标

• 在多目标带噪声黑箱目标之间辨识最优折衷（帕累托前沿），以高样本效率。
• 开发一个在 MOBO 中能正确考虑观测噪声的获取函数。
• 实现可扩展的并行/批量评估，以提高现实场景下的吞吐量。
• 提供一个理论上健全且在经验上鲁棒的方法，在有噪声的条件下优于基线。

提出的方法

• 通过对 observed 点的后验 p(f|D) 的函数值在 EHVI 上积分，定义带噪声的期望超体积改进（NEHVI）。
• 通过从后验抽样并与候选点的联合样本进行蒙特卡洛近似 NEHVI（全 MC 变体）。
• 引入缓存盒分解（CBD），在评估之间重复使用帕累托前沿和盒分解，降低时间/空间复杂度，使其随批量大小 q 的指数增长降至多项式增长。
• 扩展到带 q 的并行/批量设置，使用序贯贪心近似以保持可处理的优化。
• 证明在带噪声环境中 NEHVI 保留一步贝叶斯最优性，并且 CBD 使可微分获取函数优化可通过梯度方法实现。
• 提供一个更便宜的近似 q NEHVI-1，使用单个 GP 采样路径结合随机傅里叶特征以更快地进行批量选择。

实验结果

研究问题

• RQ1 在观测值带噪声而非无噪声的情况下，MOBO 如何有效执行？
• RQ2 在存在噪声的情况下，EHVI 基于获取函数能否扩展到大批量规模而不牺牲性能？
• RQ3 将对帕累托前沿的不确定性进行积分（NEHVI）是否在带噪声观测下提高帕累托前沿的鲁棒性和多样性？
• RQ4 在实际大规模问题中，如何高效地计算和优化 NEHVI？

主要发现

• 与现有 MOBO 方法相比，NEHVI 对观测噪声更具鲁棒性，能得到分布均匀的帕累托前沿，且不产生聚簇。
• CBD 方法将并行 EHVI 的时间/空间复杂度从指数级降到多项式级，支持大批量规模。
• q NEHVI 在大批量设置下实现了最先进的优化性能，并且在实际耗时方面具有竞争力。
• q NEHVI-1 提供了一个更快的替代方案，使用基于梯度的优化，在 GPU 硬件上扩展良好。
• 实验表明，在合成和真实世界的带噪声 MOBO 基准测试中，与多种基线相比具有强劲性能。