[论文解读] The Behavior and Convergence of Local Bayesian Optimization

Kaiwen Wu, Kyurae Kim+2 more|arXiv (Cornell University)|May 24, 2023

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文首次对局部贝叶斯优化进行了严格的理论分析，聚焦于GIBO算法。通过控制梯度不确定性的边界，建立了无噪声和有噪声设置下的收敛速率，表明即使在高维情况下，局部贝叶斯优化也能实现快速收敛，且样本复杂度为多项式级别。

ABSTRACT

A recent development in Bayesian optimization is the use of local optimization strategies, which can deliver strong empirical performance on high-dimensional problems compared to traditional global strategies. The "folk wisdom" in the literature is that the focus on local optimization sidesteps the curse of dimensionality; however, little is known concretely about the expected behavior or convergence of Bayesian local optimization routines. We first study the behavior of the local approach, and find that the statistics of individual local solutions of Gaussian process sample paths are surprisingly good compared to what we would expect to recover from global methods. We then present the first rigorous analysis of such a Bayesian local optimization algorithm recently proposed by Müller et al. (2021), and derive convergence rates in both the noisy and noiseless settings.

研究动机与目标

• 正式分析局部贝叶斯优化的行为与收敛性，该方法虽表现出强劲的实验性能，但缺乏理论基础。
• 填补对局部贝叶斯优化为何在高维问题上表现良好（尽管面临维度灾难）的理解空白。
• 在全局贝叶斯优化中常用的标准高斯过程假设下，为局部贝叶斯优化算法（GIBO）提供理论保证。
• 量化噪声和批量大小对局部优化收敛速度的影响。
• 评估局部贝叶斯优化在典型高斯过程样本路径上找到的单个局部解的质量。

提出的方法

• 使用GIBO算法（基于高斯过程的迭代贝叶斯优化）结合主动梯度学习，聚焦于局部区域。
• 通过新颖地分析高斯过程回归中的后验方差，推导出梯度估计不确定性的上界。
• 将梯度不确定性边界与梯度估计偏差联系起来，推导出无噪声和有噪声函数的收敛速率。
• 通过优化多项式与对数增长速率，分析批量大小的选择以最小化收敛误差。
• 在不同维度和噪声水平下，通过实验评估改进版GIBO变体在高斯过程样本路径上的性能。
• 利用理论边界评估收敛保证的松紧程度，通过将上界与实际不确定性减少进行比较。

Figure 1 : The unreasonable effectiveness of locally optimizing GP sample paths. (Top row): Distributions of local solutions found when locally optimizing GP sample paths in various numbers of dimensions, with varying amounts of noise. (Bottom left): The minimum sample complexity of grid search requ

实验结果

研究问题

• RQ1 在典型的高维高斯过程样本路径上，局部贝叶斯优化找到的局部解质量如何？
• RQ2 我们能否在标准高斯过程假设下，为局部贝叶斯优化算法提供理论收敛保证？
• RQ3 噪声对局部贝叶斯优化收敛速率有何影响？
• RQ4 批量大小的选择如何影响局部贝叶斯优化的收敛速度？
• RQ5 在局部优化过程中，梯度估计的不确定性如何演变？理论边界有多紧？

主要发现

• 在高维高斯过程样本路径上，局部贝叶斯优化找到了极为优异的解，其中位数目标值等价于需要指数级更大样本量的网格搜索结果。
• 在最优批量大小 $b_t = d t^2$ 的无噪声情况下，本文建立了 $\mathcal{O}(n^{-1/3})$ 的收敛速率，这是此类设置下已知的最快收敛速率。
• 在有噪声情况下，收敛速率为 $\mathcal{O}(\sigma d^{4/3} n^{-1/3} \log^2 n)$，表明噪声增加了样本复杂度，但仍允许快速收敛。
• 理论上的梯度不确定性边界在实践中被证明是松散的，因为实际的不确定性减少显著优于上界。
• 当批量大小为 $b_t = d+1$ 时，算法实现了收敛，满足 $\min_t \|\nabla f(x_t)\|^2 \leq \frac{2L(f(x_1) - f^*)}{T}$，在理想条件下表现出快速收敛。
• 通过次梯度估计，ReLU函数被成功处理，后验均值梯度始终位于次微分 $[0,1]$ 内。

(a) fixed dimension, varying batch sizes