[论文解读] Rectified Max-Value Entropy Search for Bayesian Optimization

Quoc Phong Nguyen, Bryan Kian Hsiang Low+1 more|arXiv (Cornell University)|Feb 28, 2022

Metaheuristic Optimization Algorithms Research被引用 4

一句话总结

本文提出了一种新型贝叶斯优化获取函数——修正的最大值熵搜索（Rectified Max-Value Entropy Search, RMES），纠正了现有最大值熵搜索（MES）中的两个关键误解：假设观测无噪声，以及信息增益评估不一致。通过推导给定最大值的噪声观测的闭式条件密度，并结合重参数化技巧的随机梯度上升方法，RMES实现了更精确的互信息估计，从而在合成与真实世界优化任务中均实现了相较于MES的一致性能提升。

ABSTRACT

Although the existing max-value entropy search (MES) is based on the widely celebrated notion of mutual information, its empirical performance can suffer due to two misconceptions whose implications on the exploration-exploitation trade-off are investigated in this paper. These issues are essential in the development of future acquisition functions and the improvement of the existing ones as they encourage an accurate measure of the mutual information such as the rectified MES (RMES) acquisition function we develop in this work. Unlike the evaluation of MES, we derive a closed-form probability density for the observation conditioned on the max-value and employ stochastic gradient ascent with reparameterization to efficiently optimize RMES. As a result of a more principled acquisition function, RMES shows a consistent improvement over MES in several synthetic function benchmarks and real-world optimization problems.

研究动机与目标

• 识别并纠正最大值熵搜索（MES）获取函数中的两个关键误解，这些误解损害了其信息论解释与实际性能。
• 开发一种更严谨的获取函数——修正的最大值熵搜索（RMES），通过噪声观测准确度量关于全局最大值的互信息。
• 通过推导在最大值条件下噪声观测的概率密度闭式表达，实现RMES的高效优化。
• 通过实证验证，RMES在多种合成与真实世界优化问题中，相较于MES展现出更优的收敛性与鲁棒性。
• 通过阐明观测噪声与信息论贝叶斯优化中一致条件的作用，为未来获取函数设计奠定基础。

提出的方法

• 推导在全局最大值给定条件下，噪声观测的条件概率密度的闭式表达，纠正MES中假设观测无噪声的错误。
• 利用推导出的密度，计算最大值与噪声观测之间更精确的互信息度量。
• 应用带有重参数化技巧的随机梯度上升法，高效优化RMES获取函数，克服其无闭式优化解的缺陷。
• 将RMES获取函数集成到贝叶斯优化框架中，通过顺序选择查询点以最大化关于全局最优解的信息增益。
• 对目标函数保持高斯过程信念，并在每次查询后利用噪声函数评估结果更新该信念。
• 在信息增益估计与获取函数优化过程中，均保持对最大值的一致条件，以维持理论基础的稳固性。

实验结果

研究问题

• RQ1 最大值熵搜索（MES）获取函数中存在哪两个关键误解，导致其性能下降并错误地表示互信息？
• RQ2 MES中假设观测无噪声，如何影响对全局最大值信息增益的估计？
• RQ3 若对噪声观测似然进行修正建模，能否提升贝叶斯优化中互信息估计的准确性？
• RQ4 何种高效的优化策略可实现非闭式获取函数（如RMES）的实际部署？
• RQ5 RMES更优的信息论基础是否在合成与真实世界优化任务中，带来可量化的性能提升？

主要发现

• 在多个合成基准测试中，RMES始终优于MES，包括Branin-Hoo函数与Eggholder函数，表现出更低的简单遗憾与推理遗憾。
• 在低噪声场景下的Branin-Hoo函数（σₙ = 0.01）中，MES因噪声建模缺陷导致过度探索，而RMES则保持更优的开发能力。
• 在高噪声场景（σₙ = 0.3）中，MES表现出过度开发，陷入次优局部最大值，而RMES通过精确的信息增益估计避免了该问题。
• 在具有多个局部最大值的Eggholder函数上，RMES比MES实现更快的收敛与更低的遗憾，展现出更优的探索-开发平衡。
• 在真实世界任务（pH场传感与SVM超参数调优）中，RMES相较于MES表现出更低的简单遗憾，尤其在SVM调优任务中优势显著。
• RMES的性能与成熟的期望改进（Expected Improvement, EI）和上置信界（Upper Confidence Bound, UCB）方法相当，同时提供了更严谨的信息论基础。