[论文解读] Predictive Entropy Search for Efficient Global Optimization of Black-box Functions

José Miguel Hernández-Lobato, Matthew W. Hoffman+1 more|arXiv (Cornell University)|Jun 10, 2014

Advanced Bandit Algorithms Research参考文献 29被引用 396

一句话总结

本文提出预测熵搜索（Predictive Entropy Search, PES），一种贝叶斯优化方法，通过选择能最大化关于黑箱函数全局最大值的信息增益的评估点，实现高效优化。通过利用预测分布熵对难以计算的熵基获取函数进行重表述，PES在噪声环境或具有多峰特性的场景下，相较于熵搜索（Entropy Search）和期望改进（Expected Improvement）方法，展现出更精确且高效的优化性能。

ABSTRACT

We propose a novel information-theoretic approach for Bayesian optimization called Predictive Entropy Search (PES). At each iteration, PES selects the next evaluation point that maximizes the expected information gained with respect to the global maximum. PES codifies this intractable acquisition function in terms of the expected reduction in the differential entropy of the predictive distribution. This reformulation allows PES to obtain approximations that are both more accurate and efficient than other alternatives such as Entropy Search (ES). Furthermore, PES can easily perform a fully Bayesian treatment of the model hyperparameters while ES cannot. We evaluate PES in both synthetic and real-world applications, including optimization problems in machine learning, finance, biotechnology, and robotics. We show that the increased accuracy of PES leads to significant gains in optimization performance.

研究动机与目标

• 解决难以计算、无导数且存在噪声评估的黑箱函数的高效优化挑战。
• 克服现有获取函数（如期望改进，EI）过于贪婪、探索不足的局限性。
• 提出一种基于信息论的系统性方法，量化关于全局最大值位置的信息增益。
• 实现对模型超参数的完全贝叶斯处理，这是以往基于熵的方法（如熵搜索）难以高效实现的。
• 在合成问题与真实世界问题（包括机器学习超参数调优、机器人控制与生物技术）中提升优化性能。

提出的方法

• 提出一种基于预测分布关于函数全局最大值的微分熵减少期望的新型获取函数。
• 通过近似候选点处后验预测分布的熵，对难以计算的信息论目标进行重构。
• 利用超参数和函数实现的蒙特卡洛采样来估计期望信息增益，从而实现获取函数的高效优化。
• 通过采样将超参数边际化整合到获取函数中，实现对高斯过程超参数的完全贝叶斯处理。
• 采用具有核函数的高斯过程先验来建模潜在函数，基于观测到的噪声评估进行后验更新。
• 使用信赖域算法顺序优化获取函数，选择能最大化关于全局最大化点的信息增益的下一个评估点。

实验结果

研究问题

• RQ1 一种基于信息论的获取函数，若能最大化关于全局最大值的期望信息增益，是否能优于如期望改进等启发式方法？
• RQ2 难以计算的基于熵的获取函数在实际贝叶斯优化中应如何高效近似？
• RQ3 该方法能否支持对模型超参数的完全贝叶斯处理，而不同于以往基于熵的方法？
• RQ4 改进的信息论公式是否能提升在复杂、多峰或噪声目标函数上的优化性能？
• RQ5 在多样化的合成与真实世界问题中，PES相较于熵搜索（ES）和期望改进（EI）在收敛速度与最终遗憾方面表现如何？

主要发现

• 在合成基准函数上，PES的即时遗憾显著低于熵搜索（ES）和期望改进（EI），尤其在高维或具有多峰特性的场景下表现更优。
• 在Hartmann函数上，PES优于EI和ES，表明其更具攻击性的探索策略在复杂景观中具有优势，尽管需要更多迭代次数。
• 在真实世界应用中，如神经网络超参数调优（NNet）、氢气生产（Hydrogen）与投资组合优化（Portfolio），PES表现与ES相当，且优于EI，后者因过度贪婪而陷入局部最优。
• 在双足机器人行走速度优化（Walker A和B）任务中，PES优于EI和ES，尤其在噪声更大的Walker B设置中，其对超参数的完全贝叶斯处理提供了关键优势。
• PES-NB（固定超参数的变体）性能低于PES，证实了在噪声环境中对超参数进行边际化处理对性能至关重要。
• 该方法能够准确近似难以计算的基于熵的获取函数，从而实现更鲁棒、高效的优化，尤其在高维与非凸问题中表现突出。