[论文解读] Regret Bounds for Deterministic Gaussian Process Bandits

Nando de Freitas, Alexander J. Smola+1 more|arXiv (Cornell University)|Mar 9, 2012

Advanced Bandit Algorithms Research参考文献 20被引用 5

一句话总结

本文提出了一种用于确定性高斯过程Bandits的分支定界算法，在正则条件下实现了指数级遗憾收敛，$Ó(e^{-\frac{\tau t}{(\ln t)^{d/4}}})$。与具有$O(1/\sqrt{t})$遗憾的噪声情形不同，确定性设置使得次优区域能够快速剪枝，从而实现有界的累积遗憾并加速收敛至全局最优解。

ABSTRACT

This paper analyses the problem of Gaussian process (GP) bandits with deterministic observations. The analysis uses a branch and bound algorithm that is related to the UCB algorithm of (Srinivas et al., 2010). For GPs with Gaussian observation noise, with variance strictly greater than zero, (Srinivas et al., 2010) proved that the regret vanishes at the approximate rate of $O(\frac{1}{\sqrt{t}})$, where t is the number of observations. To complement their result, we attack the deterministic case and attain a much faster exponential convergence rate. Under some regularity assumptions, we show that the regret decreases asymptotically according to $O(e^{-\frac{τt}{(\ln t)^{d/4}}})$ with high probability. Here, d is the dimension of the search space and $τ$ is a constant that depends on the behaviour of the objective function near its global maximum.

研究动机与目标

• 为使用高斯过程先验且无观测噪声的确定性函数，解决全局优化问题。
• 弥合确定性GP Bandits在遗憾分析方面的差距，与先前针对噪声观测的研究形成对比。
• 开发一种利用后验不确定性与函数光滑性的分支定界算法，以加速收敛。
• 建立反映无噪声环境下统计效率提升的理论遗憾边界。

提出的方法

• 通过引入随时间缩小的搜索空间，将UCB算法扩展为结合分支定界方法，利用高斯过程后验均值与方差指导选择。
• 采用基于格点的搜索空间$\mathcal{D}$离散化，以确保在全局最大值附近实现精细采样。
• 对目标函数施加正则性条件，包括在最大值处的光滑性与非退化的黑塞矩阵，以保证快速收敛。
• 采用形式为$\mu + B\sigma$的置信区间，其中$B$的选择用于在无噪声条件下平衡探索与利用。
• 基于置信上界缩小搜索区域，排除最大值不可能存在的区域。
• 依赖马特恩核与平方指数核，以确保几乎必然的二阶可微性，并支持理论分析。

实验结果

研究问题

• RQ1 在确定性GP Bandits中是否可以实现指数级遗憾收敛？若可以，其成立条件是什么？
• RQ2 与噪声情形相比，观测噪声的缺失如何影响收敛速度？
• RQ3 目标函数在其全局最大值附近的光滑性在决定遗憾率方面起到何种作用？
• RQ4 在无噪声设置下，是否能有效利用基于GP的置信区间对搜索空间进行剪枝？
• RQ5 核函数选择（如马特恩核、平方指数核）对收敛速度与理论保证有何影响？

主要发现

• 遗憾以高概率按速率$\mathcal{O}\left(e^{-\frac{\tau t}{(\ln t)^{d/4}}}\right)$指数衰减，其中$\tau$取决于函数在全局最大值附近的性质。
• 累积遗憾有上界，与标准UCB在噪声GP Bandits中出现的无界遗憾形成鲜明对比。
• 由于无噪声使得可大规模剪枝搜索空间，从而实现更快的最优解定位，这是实现指数收敛的关键。
• 该结果在正则性条件下成立，包括函数几乎必然二阶可微，且在最大值处黑塞矩阵具有非零特征值。
• 收敛速率与格点离散化$\mathcal{L}$无关，但格点必须足够精细，以确保在最大值邻域内实现采样。
• 该方法在噪声情形下显著优于标准UCB，后者因持续探索远离最优的点而面临无界累积遗憾。