[论文解读] Parallel Bayesian Global Optimization of Expensive Functions

Jialei Wang, Scott Clark+2 more|arXiv (Cornell University)|Feb 16, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 31被引用 67

一句话总结

本文提出一种基于随机梯度的并行贝叶斯全局优化方法，用于昂贵函数的优化，利用无穷小扰动分析（IPA）构建多点预期改进（q-EI）的无偏梯度估计器。该方法实现了高效、可扩展的多点评估优化，在 q ≥ 4 时计算时间上优于闭式方法，尤其在 GPU 加速下表现更优。

ABSTRACT

We consider parallel global optimization of derivative-free expensive-to-evaluate functions, and propose an efficient method based on stochastic approximation for implementing a conceptual Bayesian optimization algorithm proposed by Ginsbourger et al. (2007). At the heart of this algorithm is maximizing the information criterion called the "multi-points expected improvement'', or the q-EI. To accomplish this, we use infinitessimal perturbation analysis (IPA) to construct a stochastic gradient estimator and show that this estimator is unbiased. We also show that the stochastic gradient ascent algorithm using the constructed gradient estimator converges to a stationary point of the q-EI surface, and therefore, as the number of multiple starts of the gradient ascent algorithm and the number of steps for each start grow large, the one-step Bayes optimal set of points is recovered. We show in numerical experiments that our method for maximizing the q-EI is faster than methods based on closed-form evaluation using high-dimensional integration, when considering many parallel function evaluations, and is comparable in speed when considering few. We also show that the resulting one-step Bayes optimal algorithm for parallel global optimization finds high-quality solutions with fewer evaluations than a heuristic based on approximately maximizing the q-EI. A high-quality open source implementation of this algorithm is available in the open source Metrics Optimization Engine (MOE).

研究动机与目标

• 解决在并行贝叶斯优化中高效最大化 q-EI 准则的挑战，该过程因高维积分而计算成本高昂。
• 克服现有闭式方法和启发式方法在 q-EI 最大化中的局限性，这些方法在并行评估数 q 增大时扩展性差。
• 开发一种可扩展、可微分且可并行化的 q-EI 最大化方法，适用于高维和大 q 的优化场景。
• 通过准确近似 q-EI 梯度，实现昂贵全局优化中多点的一步贝叶斯最优选择。
• 在实际应用中提供高性能、开源的实现，集成于 Metrics Optimization Engine (MOE)，支持生产环境部署。

提出的方法

• 使用无穷小扰动分析（IPA）构建 q-EI 目标函数的无偏随机梯度估计器。
• 实现一种基于 IPA 梯度估计器的随机梯度上升算法，以优化 q-EI 表面。
• 通过大量重复的蒙特卡洛采样降低梯度方差，确保高精度估计。
• 通过利用蒙特卡洛梯度估计中固有的平凡并行性，实现 GPU 加速，显著提升 q 增大时的可扩展性。
• 在随机梯度上升中采用递减步长序列，自动平衡探索与利用，使计算资源集中在收敛附近。
• 将该方法集成至开源 Metrics Optimization Engine (MOE)，支持 CPU 和 GPU 部署，适用于生产环境。

实验结果

研究问题

• RQ1 基于 IPA 的随机梯度方法能否提供一种无偏且可扩展的替代方案，用于闭式 q-EI 梯度计算？
• RQ2 与现有闭式方法相比，所提出的随机梯度估计器的计算复杂度如何随并行评估数 q 的增加而变化？
• RQ3 采用 IPA 估计器的随机梯度上升算法是否能收敛至 q-EI 表面的驻点，确保理论一致性？
• RQ4 该方法在 q ≥ 4 时是否能实现比闭式计算更快的计算速度，尤其是在使用 GPU 加速时？
• RQ5 在解的质量和函数评估次数方面，该方法与启发式 q-EI 最大化策略相比表现如何？

主要发现

• 基于 IPA 的随机梯度估计器是无偏的，且可确保随机梯度上升算法收敛至 q-EI 表面的驻点。
• 在 GPU 加速下，MOE-qEI 实现的梯度计算速度超过闭式方法（基准 2），且在 q ≥ 4 时性能显著优于后者，扩展性更优。
• 即使仅使用 10,000 次蒙特卡洛采样，梯度方差仍低于 10⁻⁷，确保了高精度，且计算成本仅为传统方法的一小部分。
• 在仅使用 CPU 的情况下，该随机梯度估计器在 q ≥ 4 时仍比基于 GPU 的闭式方法运行更快，表明其在无专用硬件条件下也具备强大性能。
• 与启发式 q-EI 最大化方法相比，该方法在更少的函数评估次数下实现了更高质量的优化解。
• 随机梯度方法支持自适应计算，在优化初期减少梯度估计工作量，而在收敛附近集中提升精度。