[论文解读] New Paradigms for Exploiting Parallel Experiments in Bayesian Optimization

Leonardo D. González, Ví­ctor M. Zavala|arXiv (Cornell University)|Oct 3, 2022

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用 5

一句话总结

本文提出了两种新颖的并行贝叶斯优化范式——水平集划分和变量划分，通过利用性能函数的结构性质，实现高效、非冗余的高通量实验。通过利用参考模型引导设计空间划分，与现有最先进并行BO方法相比，该方法显著减少了搜索时间并提高了全局收敛性。

ABSTRACT

Bayesian optimization (BO) is one of the most effective methods for closed-loop experimental design and black-box optimization. However, a key limitation of BO is that it is an inherently sequential algorithm (one experiment is proposed per round) and thus cannot directly exploit high-throughput (parallel) experiments. Diverse modifications to the BO framework have been proposed in the literature to enable exploitation of parallel experiments but such approaches are limited in the degree of parallelization that they can achieve and can lead to redundant experiments (thus wasting resources and potentially compromising performance). In this work, we present new parallel BO paradigms that exploit the structure of the system to partition the design space. Specifically, we propose an approach that partitions the design space by following the level sets of the performance function and an approach that exploits partially-separable structures of the performance function found. We conduct extensive numerical experiments using a reactor case study to benchmark the effectiveness of these approaches against a variety of state-of-the-art parallel algorithms reported in the literature. Our computational results show that our approaches significantly reduce the required search time and increase the probability of finding a global (rather than local) solution.

研究动机与目标

• 解决贝叶斯优化（BO）本质上是串行的局限性，这限制了其在高通量实验（HTE）平台上的应用能力。
• 克服现有并行BO方法的缺点，如并行化程度有限以及冗余实验造成的资源浪费和陷入局部最优的风险。
• 提出新范式，利用系统结构——特别是性能函数的水平集和部分可分结构——来指导高效的设计空间划分。
• 通过反应器案例研究，将所提方法与串行BO及最先进并行BO算法进行对比，验证性能提升。

提出的方法

• 提出水平集划分，通过参考模型（如低保真度或基于物理的模型）近似性能函数的水平集，对设计空间进行划分。
• 通过识别并利用性能函数中的部分可分结构实现变量划分，这些结构通常源于模块化子系统（如化工单元）。
• 利用经过变换的阿伦尼乌斯动力学和物料衡算推导出的参考模型，将反应速率和物种浓度表示为仅与温度相关的函数，从而实现更快的评估。
• 在参考模型的性能函数上构建高斯过程（GP）代理模型，以实现获取函数的高效优化。
• 应用获取函数并行选择实验批次，通过划分后的设计空间引导，避免冗余并改善探索与利用的平衡。
• 集成约束条件，处理连续和离散设计变量，在新并行框架中保持贝叶斯优化的灵活性。

实验结果

研究问题

• RQ1 基于性能函数的水平集对设计空间进行划分，是否能提升并行贝叶斯优化的效率和收敛性？
• RQ2 在性能函数中利用部分可分结构，能在多大程度上增强并行化能力并减少BO中的冗余实验？
• RQ3 所提出的水平集和变量划分范式在搜索时间和全局解质量方面，与串行及最先进并行BO方法相比表现如何？
• RQ4 能否通过近似真实系统行为的参考模型，实现在不牺牲准确性的前提下，有效且可扩展的并行实验选择？
• RQ5 在设计空间中采用结构分解，是否能带来对高维、非凸性能景观在实验优化中更优的探索能力？

主要发现

• 所提出的水平集和变量划分方法与串行及现有并行BO算法相比，显著减少了收敛到全局解所需的迭代次数。
• 这些方法实现了更快的搜索收敛速度，在反应器案例研究中，计算结果表明在高维设计空间中时间到解显著减少。
• 通过避免冗余实验选择，这些方法在应对局部最优方面表现出更强的鲁棒性，这是标准批量BO方法的常见问题。
• 利用参考模型近似水平集和可分结构，即使在真实性能函数未知或计算代价高昂的情况下，也能实现准确且高效的划分。
• 在速度和识别全局最优解的概率方面，所提范式的性能均优于最先进并行BO方法。
• 变量划分方法能有效捕捉模块化系统行为，实现在子系统间的针对性、非冗余实验选择，从而提升可扩展性和资源效率。