[论文解读] On Information Gain and Regret Bounds in Gaussian Process Bandits

Sattar Vakili, Kia Khezeli+1 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Bandit Algorithms Research参考文献 44被引用 7

一句话总结

本文通过分析核函数的特征值衰减，提出了一种通用框架，用于在高斯过程上下文 bandits 中界定信息增益（$\gamma_T$）。通过对常见核函数（如 Matérn 核和平方指数核）的 $\gamma_T$ 推导出更紧的上界，显著缩小了现有上界与下界之间的差距——在频繁学设置下，实现了 Matérn 核的紧致 regret 上界（对数因子内），这此前是重大开放问题。

ABSTRACT

Consider the sequential optimization of an expensive to evaluate and possibly non-convex objective function $f$ from noisy feedback, that can be considered as a continuum-armed bandit problem. Upper bounds on the regret performance of several learning algorithms (GP-UCB, GP-TS, and their variants) are known under both a Bayesian (when $f$ is a sample from a Gaussian process (GP)) and a frequentist (when $f$ lives in a reproducing kernel Hilbert space) setting. The regret bounds often rely on the maximal information gain $γ_T$ between $T$ observations and the underlying GP (surrogate) model. We provide general bounds on $γ_T$ based on the decay rate of the eigenvalues of the GP kernel, whose specialisation for commonly used kernels, improves the existing bounds on $γ_T$, and subsequently the regret bounds relying on $γ_T$ under numerous settings. For the Matérn family of kernels, where the lower bounds on $γ_T$, and regret under the frequentist setting, are known, our results close a huge polynomial in $T$ gap between the upper and lower bounds (up to logarithmic in $T$ factors).

研究动机与目标

• 为在频繁学设置下，解决高斯过程 bandits 中现有 regret 上界与下界之间巨大的差距，特别是针对 Matérn 核。
• 基于核函数特征值的衰减速率，提供通用的、与核无关的信息增益（$\gamma_T$）上界。
• 通过利用更紧致的 $\gamma_T$ 估计，改进 GP-UCB、GP-TS 和 SupKernelUCB 的 regret 上界。
• 证明在频繁学设置下，新 $\gamma_T$ 上界对 Matérn 核而言，紧致程度达到对数因子内。
• 通过引入基于特征值的系统性分析，统一并拓展了贝叶斯优化中关于信息增益与 regret 的先前结果。

提出的方法

• 基于核函数特征值的多项式衰减与指数衰减速率，推导出信息增益 $\gamma_T$ 的通用上界。
• 引入特征值衰减的条件（多项式：$\lambda_m \sim m^{-\beta_p}$，指数：$\lambda_m \sim \exp(-m^{\beta_e})$），以 $T$ 表示 $\gamma_T$ 的上界。
• 将这些上界应用于具体核函数：Matérn（$\gamma_T = \mathcal{O}(T^{d/(2\nu + d)} \log^{2\nu/(2\nu + d)}(T))$）与平方指数核（$\gamma_T = \mathcal{O}(\log^{d+1}(T))$）。
• 利用改进的 $\gamma_T$ 上界，分别在贝叶斯与频繁学设置下，优化 GP-UCB、GP-TS 与 SupKernelUCB 的 regret 保证。
• 通过与 Scarlett 等人（2017）的已知下界比较，证明新 $\gamma_T$ 上界在对数因子内是紧致的。
• 提出一个统一的理论框架，通过在关键情形中将上界与下界之间的差距缩小数个数量级，显著优于先前结果。

实验结果

研究问题

• RQ1 能否从 GP 核函数的特征值衰减特性中推导出更紧致的信息增益 $\gamma_T$ 上界？
• RQ2 这些改进的 $\gamma_T$ 上界在频繁学设置下，如何影响 GP-UCB 与 GP-TS 的 regret 表现？
• RQ3 新上界在多大程度上弥合了 Matérn 核在现有上界与下界之间存在的差距？
• RQ4 所提出的基于特征值的分析方法能否适用于其他常用核函数，如平方指数核？
• RQ5 在频繁学设置下，GP-UCB 与 GP-TS 的最终 regret 上界是否已达到对数因子内的紧致性？

主要发现

• 本文建立了 Matérn-$\nu$ 核的 $\gamma_T = \mathcal{O}(T^{d/(2\nu + d)} \log^{2\nu/(2\nu + d)}(T))$，优于先前上界，并在对数因子内逼近已知的 $\Omega(T^{d/(2\nu + d)})$ 下界。
• 对于平方指数核，证明 $\gamma_T = \mathcal{O}(\log^{d+1}(T))$ 在对数因子内是紧致的，与已知下界一致。
• 在频繁学设置下，SupKernelUCB 使用 Matérn 核的 regret 上界被改进为 $\mathcal{O}(T^{(\nu + d)/(2\nu + d)} \log^{5/2 - d/(4\nu + 2d)}(T))$，与下界之间的差距缩小为 $\log^{5/2}(T)$ 因子。
• $\gamma_T$ 上界的改进，使得 GP-UCB 与 GP-TS 的 regret 保证得到提升，对 Matérn 核实现 $\mathcal{O}(T^{(\nu + d)/(2\nu + d)} \log^{(4\nu + d)/(4\nu + 2d)}(T))$，在对数因子内达到紧致性。
• 分析证实，在频繁学设置下，新 $\gamma_T$ 上界对 Matérn 核而言在对数因子内是最优的，解决了长期存在的开放问题。
• 该框架可推广至任意具有多项式或指数特征值衰减的核函数，为 GP bandits 中的信息增益与 regret 分析提供统一方法。