[论文解读] Noisy-Input Entropy Search for Efficient Robust Bayesian Optimization

Lukas P. Fröhlich, Edgar D. Klenske+3 more|arXiv (Cornell University)|Feb 7, 2020

Gaussian Processes and Bayesian Inference参考文献 34被引用 18

一句话总结

本文提出噪声输入熵搜索（NES），一种基于信息论的采集函数，用于鲁棒贝叶斯优化，通过将鲁棒目标建模为高斯过程来考虑输入不确定性。NES 通过最大化关于鲁棒最优值的信息增益实现优化，在基准任务和航空航天任务中均优于现有方法，能够在存在输入噪声的情况下可靠地找到宽泛且稳定的最优解，显著降低推理遗憾。

ABSTRACT

We consider the problem of robust optimization within the well-established Bayesian optimization (BO) framework. While BO is intrinsically robust to noisy evaluations of the objective function, standard approaches do not consider the case of uncertainty about the input parameters. In this paper, we propose Noisy-Input Entropy Search (NES), a novel information-theoretic acquisition function that is designed to find robust optima for problems with both input and measurement noise. NES is based on the key insight that the robust objective in many cases can be modeled as a Gaussian process, however, it cannot be observed directly. We evaluate NES on several benchmark problems from the optimization literature and from engineering. The results show that NES reliably finds robust optima, outperforming existing methods from the literature on all benchmarks.

研究动机与目标

• 为解决标准贝叶斯优化在处理输入不确定性方面的局限性，即在部署时扰动会导致性能下降。
• 开发一种基于信息论的采集函数，明确最大化在输入噪声下关于鲁棒最优值的知识。
• 将鲁棒目标建模为不可直接观测的隐高斯过程，必须通过带噪声的函数评估来推断。
• 在输入参数在部署时可能受到随机扰动的真实世界应用中，实现高效且可靠的优化。
• 通过一种原理性强且样本高效的策略，超越启发式和非信息论的鲁棒贝叶斯优化方法。

提出的方法

• 提出噪声输入熵搜索（NES），一种采集函数，通过最大化关于鲁棒最大值 $ g^* $ 的信息增益来实现优化，其中 $ g^* $ 定义为在输入扰动下的期望目标值。
• 即使该目标不可直接观测，仍将鲁棒目标建模为高斯过程（GP），并通过条件化于鲁棒最优值来构建 GP 的预测分布。
• 以最大值熵搜索（MES）为基础，以实现信息增益的高效计算。
• 针对条件于 $ g^* $ 的不可解预测分布，开发了两种近似方法：拒绝采样（极限下精确）和期望传播（计算高效）。
• 在每次评估后通过最大边缘似然法推断核超参数和观测噪声，并对长度尺度使用对数正态先验以稳定收敛。
• 采用概率化鲁棒性表述，即若最优解在随机输入扰动下仍保持较高值，则更受青睐，从而偏好宽峰而非窄峰。

实验结果

研究问题

• RQ1 能否设计一种基于信息论的采集函数，在输入在部署时受到随机扰动的情况下，实现对黑箱函数的鲁棒优化？
• RQ2 当该值不可直接观测时，如何将高斯过程的预测分布条件化于鲁棒最大值？
• RQ3 一种基于熵的采集函数，若其最大化关于鲁棒最优值的信息，是否能优于启发式或非信息论的鲁棒贝叶斯优化方法？
• RQ4 该方法在输入维度和噪声水平增加时，性能如何变化？
• RQ5 该方法能否在高风险后果的真实世界工程应用中（如航空航天轨迹规划）可靠地找到鲁棒最优解？

主要发现

• NES 在所有基准函数上均持续优于标准贝叶斯优化和现有鲁棒方法，表现出更优的收敛性和更低的推理遗憾。
• 在三维 Hartmann 函数（$ m{ ext{Σ}}_x = 0.1^2 \mathbf{I} $）上，NES 显著低于标准 BO 和其他鲁棒方法的推理遗憾。
• 在引力弹弓机动任务中，经过 15 次评估后，NES-EP 的推理遗憾相比标准 BO 降低了近两个数量级。
• NES 的性能在不同类型的基准任务中均表现稳健，包括一维、二维和三维函数，且在不同噪声水平和目标形状下均有效。
• 期望传播近似（NES-EP）提供了计算高效的替代方案，同时保持了高精度和高性能，优于拒绝采样。
• 标准 BO 虽然能发现全局最优解，但在鲁棒设置下因对输入扰动敏感而失败，表现为引力弹弓任务中推理遗憾停滞不前。