[论文解读] NUBO: A Transparent Python Package for Bayesian Optimization

Mike Diessner, Kevin J. Wilson+1 more|ArXiv.org|May 11, 2023

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

NUBO 是一个轻量级、透明的 Python 包，用于贝叶斯优化，通过高斯过程代理模型和采集函数，实现对昂贵黑箱函数（如物理实验和模拟器）的高效、样本高效优化。它支持带边界、约束或混合（离散/连续）参数空间的顺序、并行和异步优化，在仅 826 行代码下实现接近最优的性能，在 6 维测试案例中优于随机采样和拉丁超立方采样。

ABSTRACT

NUBO, short for Newcastle University Bayesian Optimisation, is a Bayesian optimization framework for the optimization of expensive-to-evaluate black-box functions, such as physical experiments and computer simulators. Bayesian optimization is a costefficient optimization strategy that uses surrogate modelling via Gaussian processes to represent an objective function and acquisition functions to guide the selection of candidate points to approximate the global optimum of the objective function. NUBO itself focuses on transparency and user experience to make Bayesian optimization easily accessible to researchers from all disciplines. Clean and understandable code, precise references, and thorough documentation ensure transparency, while user experience is ensured by a modular and flexible design, easy-to-write syntax, and careful selection of Bayesian optimization algorithms. NUBO allows users to tailor Bayesian optimization to their specific problem by writing the optimization loop themselves using the provided building blocks. It supports sequential single-point, parallel multi-point, and asynchronous optimization of bounded, constrained, and/or mixed (discrete and continuous) parameter input spaces. Only algorithms and methods that are extensively tested and validated to perform well are included in NUBO. This ensures that the package remains compact and does not overwhelm the user with an unnecessarily large number of options. The package is written in Python but does not require expert knowledge of Python to optimize your simulators and experiments. NUBO is distributed as open-source software under the BSD 3-Clause license.

研究动机与目标

• 通过强调透明度和用户体验，使贝叶斯优化对各学科的研究人员更加易用。
• 提供一个最小化、文档详尽且模块化的贝叶斯优化实现，避免因不必要的算法而造成臃肿。
• 在一个统一、一致的框架中支持高级优化策略——顺序、并行和异步优化。
• 使研究人员能够通过模块化构建块自定义优化循环，而无需具备深厚的统计学或编程专业知识。
• 在有限函数评估次数下，收敛至全局最优解的速度和质量优于标准采样方法（如随机采样和拉丁超立方采样）。

提出的方法

• NUBO 使用高斯过程作为代理模型，表示未知的黑箱目标函数。
• 它采用采集函数来指导新评估点的选择，平衡探索与利用。
• 该包通过采集函数的蒙特卡洛近似，支持顺序单点、并行多点以及异步优化。
• 它提供模块化的子包，涵盖高斯过程、采集函数、优化器、测试函数和工具，支持灵活定制。
• 实现设计注重可读性和可维护性，配有精确引用和详尽文档，确保透明性。
• NUBO 基于 PyTorch 和 GPyTorch 构建，计算高效，支持有界、约束以及混合离散-连续参数空间。

Figure 1: Bayesian optimisation applied to a 1-dimensional function with one local and one global maximum. Upper confidence bound is used as the acquisition function. The input space is bounded by $[0,10]$ .

实验结果

研究问题

• RQ1 如何使非专业研究人员在科学与工程领域更容易使用贝叶斯优化？
• RQ2 一个最小化、透明且文档详尽的贝叶斯优化实现，是否能在可用性和性能上超越现有大型包？
• RQ3 NUBO 对并行和异步优化的支持，在多大程度上提升了相比顺序方法的样本效率？
• RQ4 在高维黑箱函数的全局最优解搜索中，NUBO 的性能与随机采样和拉丁超立方采样相比如何？
• RQ5 一个轻量级代码库（826 行）能否在不牺牲可靠性或功能性的前提下，有效支持高级贝叶斯优化特性？

主要发现

• 在 70 次评估后，NUBO 得到约 3.3076 的解，非常接近真实最大值 3.32237，表明其具有极高的样本效率。
• 算法在第 51 次迭代时找到最佳输出，表明其对参数空间的探索与利用非常有效。
• 在收敛速度和最终解质量方面，NUBO 均优于随机采样和拉丁超立方采样。
• 与 BoTorch 的 27,100 行代码相比，NUBO 仅用 826 行代码的极简代码库，证明了简洁与清晰也能实现高度功能性。
• NUBO 成功支持并行和异步优化，当可同时执行多个评估时，可实现更快收敛。
• 模块化设计使用户能够使用文档详尽、可组合的组件编写自定义优化循环，显著提升灵活性和可复现性。

Figure 2: NUBO flowchart. Overview of the recommended algorithms for specific problems. Start in yellow, decisions in blue, and recommended algorithm in green.