[论文解读] Tight Regret Bounds for Bayesian Optimization in One Dimension

Jonathan Scarlett|arXiv (Cornell University)|May 30, 2018

Advanced Bandit Algorithms Research参考文献 24被引用 8

一句话总结

该论文在核函数满足温和假设的条件下，为一维高斯过程先验下带高斯噪声的贝叶斯优化建立了紧致的遗憾边界，证明最优累积遗憾的下界为 $Ω(\sqrt{T})$，上界为 $O(\sqrt{T\log T})$。研究显示，现有上界对平方指数核函数接近最优，但对 $\nu > 2$ 的马特恩核函数则次优，从而填补了对噪声贝叶斯优化理论理解的关键空白。

ABSTRACT

We consider the problem of Bayesian optimization (BO) in one dimension, under a Gaussian process prior and Gaussian sampling noise. We provide a theoretical analysis showing that, under fairly mild technical assumptions on the kernel, the best possible cumulative regret up to time $T$ behaves as $Ω(\sqrt{T})$ and $O(\sqrt{T\log T})$. This gives a tight characterization up to a $\sqrt{\log T}$ factor, and includes the first non-trivial lower bound for noisy BO. Our assumptions are satisfied, for example, by the squared exponential and Matérn-$ν$ kernels, with the latter requiring $ν> 2$. Our results certify the near-optimality of existing bounds (Srinivas {\em et al.}, 2009) for the SE kernel, while proving them to be strictly suboptimal for the Matérn kernel with $ν> 2$.

研究动机与目标

• 通过建立一维环境下与算法无关的累积遗憾下界，填补贝叶斯优化理论上的空白。
• 确定基于信息增益的现有上界是否紧致，或能否进一步改进。
• 在对核函数施加温和技术假设的前提下，刻画噪声贝叶斯优化的根本极限。
• 阐明贝叶斯优化与非贝叶斯对应方法在遗憾尺度上的相对难度。

提出的方法

• 利用自适应采样下的二元假设检验中的范诺不等式，推导累积遗憾的下界。
• 构造一对具有小而局部扰动的对比函数，以建模不确定性并利用核函数的光滑性。
• 在一维中引入随机平移，形成极小化估计问题，利用核函数的性质来界定互信息。
• 应用马尔可夫不等式和集中性论证，将遗憾与错误识别真实函数的概率联系起来。
• 结合上下界分析，证明在 $\sqrt{\log T}$ 因子范围内紧致，其中最大信息增益 $\gamma_T$ 为关键量。
• 通过证明在给定假设下，函数值与噪声采样之间的互信息量级为 $O(\sqrt{T})$，验证了下界的有效性。

实验结果

研究问题

• RQ1 在高斯过程先验与高斯噪声条件下，一维贝叶斯优化的累积遗憾是否存在根本下界？
• RQ2 基于信息增益的现有上界在不同核类中的表现如何，与最优遗憾尺度相比如何？
• RQ3 对于平方指数核函数，标准上界是否接近最优，还是仍可改进？
• RQ4 噪声贝叶斯优化设置是否可被严格证明比其非贝叶斯RKHS对应方法更简单或更困难？
• RQ5 在一维中用于推导遗憾边界的技巧是否可推广至高维，并实现 $T$ 与 $d$ 的紧密联合依赖？

主要发现

• 在对核函数施加温和技术假设的前提下，一维贝叶斯优化的最佳可能累积遗憾量级为 $\Omega(\sqrt{T})$。
• 建立了 $O(\sqrt{T\log T})$ 的上界，与下界仅相差 $\sqrt{\log T}$ 因子，实现了紧致表征。
• 对于平方指数核函数，现有上界（Srinivas 等，2010）被证明接近最优。
• 对于 $\nu > 2$ 的马特恩-$\nu$ 核函数，现有上界严格次优，表明存在改进空间。
• 下界通过范诺不等式与一对精心构造的、具有局部扰动的函数推导得出，揭示了自适应采样的局限性。
• 结果表明，信息增益 $\gamma_T$ 并不总是足以捕捉最优遗憾尺度，尤其在核函数光滑性较低时。