[论文解读] Optimal Order Simple Regret for Gaussian Process Bandits

Sattar Vakili, Nacime Bouziani+3 more|arXiv (Cornell University)|Aug 20, 2021

Advanced Bandit Algorithms Research参考文献 72被引用 5

一句话总结

该论文为高斯过程上下文带 bandits 提出了一种纯探索算法——最大方差减少（MVR），其简单遗憾界达到最优阶 $ ilde{ mathcal{O}}(ackslashackslashsqrtackslashackslashgamma_N / N)$，显著缩小了现有上界与下界之间的差距。该方法利用了再生核希尔伯特空间（RKHS）中高斯过程模型的新型、精确置信区间，在已知下界条件下，理论最优性仅相差对数因子。

ABSTRACT

Consider the sequential optimization of a continuous, possibly non-convex, and expensive to evaluate objective function $f$. The problem can be cast as a Gaussian Process (GP) bandit where $f$ lives in a reproducing kernel Hilbert space (RKHS). The state of the art analysis of several learning algorithms shows a significant gap between the lower and upper bounds on the simple regret performance. When $N$ is the number of exploration trials and $γ_N$ is the maximal information gain, we prove an $ ilde{\mathcal{O}}(\sqrt{γ_N/N})$ bound on the simple regret performance of a pure exploration algorithm that is significantly tighter than the existing bounds. We show that this bound is order optimal up to logarithmic factors for the cases where a lower bound on regret is known. To establish these results, we prove novel and sharp confidence intervals for GP models applicable to RKHS elements which may be of broader interest.

研究动机与目标

• 弥合高斯过程带 bandits 中简单遗憾的现有上界与下界之间的差距。
• 开发一种纯探索算法，实现简单遗憾的阶最优性能。
• 为属于再生核希尔伯特空间（RKHS）的函数建立新型、精确的高斯过程模型置信区间。
• 在对数因子范围内，建立所提算法的理论最优性。
• 通过将高斯过程后验方差与核岭回归联系起来，对简单遗憾进行更紧密的分析。

提出的方法

• 提出一种纯探索算法——最大方差减少（MVR），通过选择后验方差最高的点来最大化不确定性减少。
• 通过将后验方差分解为无噪声预测误差与噪声影响两部分，推导出高斯过程模型的新置信区间（命题1）。
• 将后验方差表述为无噪声观测下最大预测误差与观测噪声影响之和。
• 通过方差分解建立高斯过程回归与核岭回归之间的联系。
• 利用推导出的置信区间，在子高斯与轻尾噪声假设下分析 MVR 的简单遗憾。
• 利用信息论量，特别是 $\gamma_N$（最大信息增益），证明高概率遗憾界。

实验结果

研究问题

• RQ1 在高斯过程带 bandits 中，纯探索策略能否在对数因子范围内实现阶最优的简单遗憾？
• RQ2 当目标函数属于 RKHS 时，高斯过程模型的最紧可能置信区间是什么？
• RQ3 高斯过程模型的后验方差如何分解为无噪声与受噪声影响的两部分？
• RQ4 能否利用高斯过程回归与核岭回归之间的联系来改进遗憾分析？
• RQ5 在一般噪声假设下，MVR 算法的理论简单遗憾界是什么？

主要发现

• MVR 算法实现了高概率简单遗憾界 $\tilde{\mathcal{O}}(\sqrt{\gamma_N / N})$，显著优于先前的界限。
• 所提出的置信区间精确且适用于 RKHS 中的元素，使遗憾分析更加紧密。
• 后验方差被分解为无噪声预测误差项与与噪声相关的项，为高斯过程不确定性提供了新见解。
• 分析表明，当已知下界时，$\tilde{\mathcal{O}}(\sqrt{\gamma_N / N})$ 边界在对数因子范围内是阶最优的。
• 数值实验表明，MVR 在 Hartman3 与 Rosenbrock 测试函数上的简单遗憾表现优于 GP-UCB、GP-PI 和 GP-EI。
• 推导出实现 $\mathbb{E}[r^{\text{MVR}}_N] \leq \epsilon$ 所需的理论样本复杂度，其要求求解一个涉及对数的非线性方程。