[论文解读] SnAKe: Bayesian Optimization with Pathwise Exploration

Jose Pablo Folch, Shiqiang Zhang+6 more|arXiv (Cornell University)|Jan 31, 2022

Innovative Microfluidic and Catalytic Techniques Innovation被引用 8

一句话总结

SnAKe 提出了一种贝叶斯优化方法，通过沿低成本路径顺序查询，最小化输入成本，从而在异步、高成本变化环境中实现高效优化。其遗憾值与经典贝叶斯优化相当，同时将输入成本降低至四分之一，尤其在反馈延迟和输入变化惩罚较大的情况下表现更优。

ABSTRACT

Bayesian Optimization is a very effective tool for optimizing expensive black-box functions. Inspired by applications developing and characterizing reaction chemistry using droplet microfluidic reactors, we consider a novel setting where the expense of evaluating the function can increase significantly when making large input changes between iterations. We further assume we are working asynchronously, meaning we have to select new queries before evaluating previous experiments. This paper investigates the problem and introduces 'Sequential Bayesian Optimization via Adaptive Connecting Samples' (SnAKe), which provides a solution by considering large batches of queries and preemptively building optimization paths that minimize input costs. We investigate some convergence properties and empirically show that the algorithm is able to achieve regret similar to classical Bayesian Optimization algorithms in both synchronous and asynchronous settings, while reducing input costs significantly. We show the method is robust to the choice of its single hyper-parameter and provide a parameter-free alternative.

研究动机与目标

• 解决在黑箱优化中，查询之间发生大幅输入变化时导致的高输入成本问题。
• 在异步反馈环境下实现有效优化，即结果延迟到达，且必须在先前结果可用前选择新查询。
• 在保持与经典贝叶斯优化相当的遗憾性能的同时，最小化累积输入成本。
• 开发对超参数选择不敏感的方法，并提供无需调参的实用部署替代方案。

提出的方法

• SnAke 将优化问题建模为路径选择，通过有序排列查询点以最小化连续点之间的输入变化总和。
• 采用路径式探索策略，预先计算并基于期望改进和输入成本惩罚对查询序列进行优先排序。
• 算法引入一种成本感知的获取函数，对大输入转换施加惩罚，使用改进的单位成本期望改进：γEIpu(x) = EI(x)/(γ + Cost(x, x_{t-1}))。
• 随着新观测结果的到达，动态更新优化路径，平衡探索与成本感知路径规划。
• 通过自适应调整成本惩罚以基于观测到的输入变化，提出一种无需调参的变体。
• 在 Hartmann 和 SnAr 等基准函数上，于同步和异步设置下对方法进行了评估。

实验结果

研究问题

• RQ1 在高成本转换环境中，贝叶斯优化方法是否能在显著降低输入成本的同时保持较低的遗憾？
• RQ2 在反馈延迟的异步环境中，路径式查询排序与标准贝叶斯优化相比表现如何？
• RQ3 SnAKe 对其单个超参数的选择有多鲁棒？能否有效推导出无需调参的版本？
• RQ4 在不同延迟条件下，该方法在不同基准函数和输入维度下的表现如何？
• RQ5 成本感知的路径规划策略是否优于不考虑查询排序的成本感知获取函数？

主要发现

• SnAke 在同步和异步设置下均实现了与经典贝叶斯优化相当的遗憾值，即使在反馈延迟的情况下也表现良好。
• 在低输入成本预算下，与 UCBwLP 相比，SnAke 将输入成本降低了最多四倍，同时保持最佳遗憾性能。
• 在高延迟的异步设置中（t_delay = 25），SnAke 超过 EIpuLP 和 UCBwLP，实现更低遗憾值的同时显著降低输入成本。
• 该方法对超参数选择表现出鲁棒性，在不同基准和延迟条件下均保持一致性能。
• SnAke 的无参变体表现具有竞争力，证明其无需调参即可实用。
• 在 Hartmann 和 SnAr 基准测试中，SnAke 实现了最低成本，同时保持低遗憾值，尤其在较大预算（T=100）时表现更优。