[论文解读] The Parallel Knowledge Gradient Method for Batch Bayesian Optimization

Jian Wu, Peter I. Frazier|arXiv (Cornell University)|Jan 1, 2016

Machine Learning and Algorithms被引用 86

一句话总结

本文提出了并行知识梯度（Parallel Knowledge Gradient, PKG）方法，一种用于并行评估的批次贝叶斯优化算法，可选择一步贝叶斯最优的点集。通过高效计算此最优批次，PKG 加快了收敛至全局最优解的速度——尤其在噪声评估条件下，其在合成函数和机器学习超参数调优任务中均优于以往的批次贝叶斯优化方法。

ABSTRACT

In many applications of black-box optimization, one can evaluate multiple points simultaneously, e.g. when evaluating the performances of several different neural network architectures in a parallel computing environment. In this paper, we develop a novel batch Bayesian optimization algorithm --- the parallel knowledge gradient method. By construction, this method provides the one-step Bayes optimal batch of points to sample. We provide an efficient strategy for computing this Bayes-optimal batch of points, and we demonstrate that the parallel knowledge gradient method finds global optima significantly faster than previous batch Bayesian optimization algorithms on both synthetic test functions and when tuning hyperparameters of practical machine learning algorithms, especially when function evaluations are noisy.

研究动机与目标

• 为解决在黑箱优化中高效选择用于并行评估的点集批次的挑战，特别是在函数评估存在噪声的场景下。
• 开发一种方法，以识别一步贝叶斯最优的点集批次，从而最大化目标函数的期望改进。
• 在超参数调优及其他需要并行函数评估的应用中，实现更快收敛至全局最优解。
• 提供一种高效的计算策略以识别最优批次，克服以往批次贝叶斯优化方法计算成本过高的问题。

提出的方法

• 该方法将批次选择问题建模为知识梯度优化，通过在候选批次上最大化目标函数后验均值的期望改进来实现。
• 推导了批次设置下知识梯度的闭式近似，从而实现无需穷举枚举即可高效计算最优批次。
• 该算法基于知识梯度采用贪心选择策略，迭代构建批次，确保在大规模批次下仍具备计算可行性。
• 通过高斯过程代理模型的不确定性估计，平衡了探索与利用在批次选择过程中的作用。
• 该方法设计为可扩展且高效，适用于在并行计算环境中实现实时批次选择。
• 该方法基于贝叶斯决策理论，确保所选批次在一步贝叶斯意义下为最优。

实验结果

研究问题

• RQ1 如何高效计算在贝叶斯优化中用于并行函数评估的一步贝叶斯最优批次点？
• RQ2 基于知识梯度的方法是否能在收敛速度和全局最优性方面优于现有的批次贝叶斯优化方法？
• RQ3 与以往的批次贝叶斯优化算法相比，该方法在噪声函数评估条件下的表现如何？
• RQ4 该方法在批次大小和搜索空间维度方面的可扩展性如何？

主要发现

• 并行知识梯度方法在合成测试函数上相较于以往的批次贝叶斯优化算法，实现了显著更快的全局最优解收敛速度。
• 在实际机器学习模型的超参数调优任务中，PKG 减少了达到最优性能所需的函数评估次数。
• 该方法在噪声评估环境下表现出色，保持了鲁棒性和效率，而其他方法则性能下降。
• 批次选择的计算策略使方法能够高效扩展至更大批次，适用于高性能计算环境。
• 实验结果表明，PKG 在评估次数更少的情况下始终能比基线方法找到更优解，尤其在高噪声环境下表现更优。