[论文解读] PHOENICS: A universal deep Bayesian optimizer

Florian Häse, Loı̈c M. Roch+2 more|arXiv (Cornell University)|Jan 4, 2018

Gaussian Processes and Bayesian Inference参考文献 48被引用 8

一句话总结

PHOENICS 是一种通用的深度贝叶斯优化器，结合了贝叶斯核密度估计与贝叶斯神经网络，实现了对黑箱目标函数的高效、并行全局优化。它在离散、准离散和连续函数上均优于高斯过程和随机森林，并成功恢复了其他方法失效的复杂 Oregonator 模型的动力学行为。

ABSTRACT

In this work we introduce PHOENICS, a probabilistic global optimization algorithm combining ideas from Bayesian optimization with concepts from Bayesian kernel density estimation. We propose an inexpensive acquisition function balancing the explorative and exploitative behavior of the algorithm. This acquisition function enables intuitive sampling strategies for an efficient parallel search of global minima. The performance of PHOENICS is assessed via an exhaustive benchmark study on a set of 15 discrete, quasi-discrete and continuous multidimensional functions. Unlike optimization methods based on Gaussian processes (GP) and random forests (RF), we show that PHOENICS is less sensitive to the nature of the co-domain, and outperforms GP and RF optimizations. We illustrate the performance of PHOENICS on the Oregonator, a difficult case-study describing a complex chemical reaction network. We demonstrate that only PHOENICS was able to reproduce qualitatively and quantitatively the target dynamic behavior of this nonlinear reaction dynamics. We recommend PHOENICS for rapid optimization of scalar, possibly non-convex, black-box unknown objective functions.

研究动机与目标

• 开发一种在多种目标函数类型（包括离散、准离散和连续域）上均表现良好的全局优化算法。
• 通过一种低成本的获取函数，克服传统序列贝叶斯优化的局限，实现在高效并行评估下的优化。
• 通过线性扩展的贝叶斯神经网络，降低高维且计算代价昂贵的优化问题中的计算成本。
• 在复杂非线性系统（如 Oregonator 反应机理）中实现鲁棒性能，这些系统中传统方法无法再现目标动力学。
• 提供一种灵活、通用的优化框架，适用于科学与工程问题中未知、非凸、黑箱目标函数的优化。

提出的方法

• PHOENICS 使用贝叶斯神经网络（BNN）为每个观测到的目标函数值估计核分布，从而实现对目标函数景观的非参数近似。
• 它从这些核分布中构建目标函数的功能近似，避免了贝叶斯神经网络中完整贝叶斯推断的立方级计算成本。
• 提出一种低成本的获取函数，平衡探索与利用，支持直观且高效的并行采样策略。
• 该方法在维度和观测数量上均呈线性扩展，使其在高维问题中计算高效。
• 获取函数支持批量优化，可同时生成多个信息丰富的候选点，克服了传统贝叶斯优化的序列限制。
• PHOENICS 以 Python 实现，并在 GitHub 上开源，确保可复现性。

实验结果

研究问题

• RQ1 单一优化算法是否能在涵盖离散、准离散和连续域的广泛目标函数类型上，均优于高斯过程和随机森林？
• RQ2 获取函数在不牺牲收敛性或性能的前提下，能在多大程度上实现高效且直观的并行化？
• RQ3 PHOENICS 是否能成功恢复复杂非线性化学振子（如 Oregonator）的目标动态行为，而其他方法失败？
• RQ4 在多种基准函数上，PHOENICS 与 GP 和 RF 相比，在收敛速度和接近全局最优解的精度方面表现如何？
• RQ5 所提出的方法是否在高维、非凸、计算代价昂贵的黑箱优化问题中保持鲁棒性和高效性？

主要发现

• 在 15 个基准函数中的 12 个上，PHOENICS 表现优于高斯过程和随机森林，尤其在 GP 和 RF 表现欠佳的离散和准离散领域表现突出。
• 对于凸函数（如 Dejong、Ellipsoid 和 Rosenbrock），PHOENICS 的性能与 GP 相当，尽管略逊于最优，显示出广泛的鲁棒性。
• 使用 PHOENICS 进行批量优化在 15 个函数中的 12 个上表现出协同改进，表明在各类问题类型中并行评估均能持续提升性能。
• 在 Oregonator 案例研究中，仅 PHOENICS 成功再现了目标极限环的定性和定量动力学行为，损失值低于 100 时与目标振荡行为高度匹配。
• 损失值在 300–500 之间的浓度轨迹表现出相位偏移的振荡，而损失值超过 3000 的情况则导致稳态或快速振荡，证实了该方法对目标函数值的敏感性。
• PHOENICS 的计算成本随维度和观测数呈线性扩展，使其在高维且计算代价昂贵的优化场景中仍能高效运行。