[论文解读] Predictive Entropy Search for Bayesian Optimization with Unknown Constraints

José Miguel Hernández-Lobato, Michael A. Gelbart+3 more|arXiv (Cornell University)|Feb 18, 2015

Gaussian Processes and Bayesian Inference参考文献 23被引用 107

一句话总结

该论文提出了带约束的预测熵搜索（PESC），一种基于信息论的贝叶斯优化方法，通过最大化关于受约束最小化点的信息增益来处理未知约束。PESC在合成问题、基准测试和真实世界问题上均优于基于期望改进（EI）的方法（如EIC和AL），尤其在约束解耦的场景中表现更优，此时EI因缺乏当前最优解而失效。

ABSTRACT

Unknown constraints arise in many types of expensive black-box optimization problems. Several methods have been proposed recently for performing Bayesian optimization with constraints, based on the expected improvement (EI) heuristic. However, EI can lead to pathologies when used with constraints. For example, in the case of decoupled constraints---i.e., when one can independently evaluate the objective or the constraints---EI can encounter a pathology that prevents exploration. Additionally, computing EI requires a current best solution, which may not exist if none of the data collected so far satisfy the constraints. By contrast, information-based approaches do not suffer from these failure modes. In this paper, we present a new information-based method called Predictive Entropy Search with Constraints (PESC). We analyze the performance of PESC and show that it compares favorably to EI-based approaches on synthetic and benchmark problems, as well as several real-world examples. We demonstrate that PESC is an effective algorithm that provides a promising direction towards a unified solution for constrained Bayesian optimization.

研究动机与目标

• 为解决期望改进（EI）在约束贝叶斯优化中的局限性，特别是当不存在可行解或约束解耦时。
• 开发一种统一的信息论方法，避免基于EI方法固有的病态行为。
• 在极少数函数评估次数下实现对未知、可能解耦约束的有效优化。
• 提供一种鲁棒且可扩展的方法，适用于具有约束的真实世界昂贵黑箱优化问题。

提出的方法

• PESC通过近似在约束下关于全局最小化点位置的期望信息增益，将预测熵搜索（PES）扩展至约束优化。
• 获取函数源自受约束最小化点后验分布的熵，采用目标函数与约束的联合高斯过程模型。
• 采用期望传播（EP）近似处理计算信息增益时涉及的不可积积分。
• 该方法使用蒙特卡洛采样和分层采样来近似后验预测分布，并对候选点进行积分。
• PESC无需当前最优解，因此在无可行评估的场景中具有鲁棒性。
• 实现中包含数值稳定技术，并已开源发布于Spearmint贝叶斯优化包中。

实验结果

研究问题

• RQ1 信息论获取函数是否能在约束贝叶斯优化中超越期望改进？
• RQ2 在未知约束问题上，PESC与EIC及增广拉格朗日方法相比表现如何？
• RQ3 当约束解耦且初始数据中不存在可行解时，PESC是否仍保持有效性？
• RQ4 PESC如何处理具有噪声或高维的黑箱函数约束问题？
• RQ5 PESC能否可靠地应用于具有昂贵函数评估的真实世界优化问题？

主要发现

• 在合成基准问题上，PESC显著优于EIC，其在真实情况评估中的分类误差为7.0±0.6%，而EIC为49±4%。
• 在HMC超参数调优任务中，PESC的平均有效样本量为3300±1200，优于EIC的2300±900，表明MCMC混合性能更优。
• 在约束解耦场景中，PESC表现出鲁棒性，而EIC因缺乏当前最优解而失效。
• PESC在信息增益估计方面的表现与基于拒绝采样的真实情况方法相当，验证了其准确性。
• 该方法成功处理了真实世界问题，包括超参数调优和MCMC配置，显示出实际应用价值。
• 尽管EP近似存在数值不稳定性，作者仍实现了稳定版本，并在Spearmint中开源发布。