[论文解读] Parallel Predictive Entropy Search for Batch Global Optimization of Expensive Objective Functions

Amar Shah, Zoubin Ghahramani|arXiv (Cornell University)|Nov 23, 2015

Gaussian Processes and Bayesian Inference参考文献 32被引用 66

一句话总结

本文提出并行预测熵搜索（PPES），一种非贪婪的贝叶斯优化算法，用于并行选择一批点进行评估，旨在最大化关于昂贵黑箱函数全局最大值点的信息增益。在机器人学、航空航天和机器学习等真实世界问题及合成问题上，PPES的表现优于贪婪批量方法，展现出更优的探索能力与更快的收敛速度，归因于其基于信息论的非贪婪批量选择策略。

ABSTRACT

We develop parallel predictive entropy search (PPES), a novel algorithm for Bayesian optimization of expensive black-box objective functions. At each iteration, PPES aims to select a batch of points which will maximize the information gain about the global maximizer of the objective. Well known strategies exist for suggesting a single evaluation point based on previous observations, while far fewer are known for selecting batches of points to evaluate in parallel. The few batch selection schemes that have been studied all resort to greedy methods to compute an optimal batch. To the best of our knowledge, PPES is the first non-greedy batch Bayesian optimization strategy. We demonstrate the benefit of this approach in optimization performance on both synthetic and real world applications, including problems in machine learning, rocket science and robotics.

研究动机与目标

• 为解决在可并行执行多个评估时，高效优化昂贵黑箱目标函数的挑战。
• 克服贪婪批量选择策略的局限性，后者常导致输入空间探索不足且难以捕捉全局结构。
• 开发一种非贪婪、基于信息论的方法，通过选择一批点来最大化关于全局最大值点位置的不确定性减少的期望值。
• 在函数评估昂贵且存在噪声的真实世界问题中评估该方法，包括机器人学、火箭科学以及机器学习超参数调优。

提出的方法

• PPES 通过最大化关于全局最大值点位置的熵减少（信息增益）来选择 Q 个点组成的批次，而非最大化即时改进。
• 通过建模全局最大值点位置与候选点函数值之间的联合不确定性，将预测熵搜索扩展至批量设置。
• 该方法使用蒙特卡洛采样来近似关于最大值点与函数值联合分布的信息增益的不可计算期望。
• 其获取函数被表述为在观察到一批点后，关于最大值点后验分布熵的期望减少量。
• 该算法通过从多个随机初始点出发，使用基于梯度的方法求解 Q 个点输入空间中的高维优化问题来优化批次。
• 与贪婪方法不同，PPES 并非依次选择点，而是联合优化整个批次，以最大化全局信息增益。

实验结果

研究问题

• RQ1 非贪婪批量贝叶斯优化策略是否能在收敛速度和全局探索方面优于贪婪方法？
• RQ2 最大化关于全局最大值点位置的信息增益，是否能带来优于最大化期望改进的优化性能？
• RQ3 在多峰、不连续及噪声目标函数上，PPES 的表现如何？这些场景中贪婪方法常会失效。
• RQ4 当使用非贪婪、基于信息论的获取函数时，批量大小对优化性能有何影响？

主要发现

• 在所有基准函数中，PPES 在中位数即时遗憾方面始终优于贪婪批量方法（如 SM-UCB、GP-BUCB 和 EI-MCMC）。
• 在氢气函数上，PPES 在初始批次后遗憾值迅速下降，表明其非贪婪选择策略具有更优的长期探索能力。
• 对于具有强不连续性且不可行配置返回零值的火箭函数，PPES 的零函数值评估次数少于其他竞争方法。
• 即使其单个评估的函数值较低，PPES 仍能对全局最大值点（即更好的 x* 估计）做出更优推荐，原因在于其专注于信息增益。
• 在复杂、多峰函数上，PPES 的性能提升最为显著，而贪婪方法常因过早收敛和探索不足而表现欠佳。
• 在机器人函数上，将批量大小从 Q=2 增加到 Q=4 时，性能提升相对较小，可能是因为在高维批量空间中获取函数的优化不够理想。