[论文解读] Regret Bounds for Noise-Free Bayesian Optimization.

Sattar Vakili, Victor Picheny+1 more|arXiv (Cornell University)|Feb 12, 2020

Advanced Bandit Algorithms Research参考文献 22被引用 7

一句话总结

该论文在无噪声贝叶斯优化设定下，基于马尔可夫再生核希尔伯特空间（RKHS）中的光滑性假设，为GP-UCB和汤普森采样建立了紧致的遗憾界，且无需假设核函数的完全已知。关键贡献在于推导出实用的、基于数据的边界，其中核参数通过观测数据逐步估计，从而提升了在真实场景中的适用性。

ABSTRACT

Bayesian optimisation is a powerful method for non-convex black-box optimization in low data regimes. However, the question of establishing tight upper bounds for common algorithms in the noiseless setting remains a largely open question. In this paper, we establish new and tightest bounds for two algorithms, namely GP-UCB and Thompson sampling, under the assumption that the objective function is smooth in terms of having a bounded norm in a Matern RKHS. Importantly, unlike several related works, we do not consider perfect knowledge of the kernel of the Gaussian process emulator used within the Bayesian optimization loop. This allows us to provide results for practical algorithms that sequentially estimate the Gaussian process kernel parameters from the available data.

研究动机与目标

• 填补噪声无条件下贝叶斯优化遗憾界理论理解的空白。
• 解决先前研究中假设高斯过程模型中核函数完全已知的局限性。
• 在核参数通过数据逐步估计的条件下，为GP-UCB和汤普森采样推导实用的遗憾界。
• 在通过马尔可夫RKHS中范数有界的光滑性条件下，建立紧致的上界。
• 通过引入核学习，提升真实世界贝叶斯优化算法的理论保证。

提出的方法

• 分析假设目标函数属于具有有界范数的马尔可夫RKHS，以保证光滑性。
• 在该光滑性假设下，推导GP-UCB和汤普森采样的遗憾界。
• 从观测到的目标函数取值中逐步估计高斯过程的核参数，反映实际实现方式。
• 遗憾分析考虑了核估计中的不确定性，避免了假设核超参数已知的限制。
• 理论边界通过集中不等式和马尔可夫核在RKHS中的性质推导得出。
• 该方法结合贝叶斯推断与非渐近遗憾分析，得出紧致且依赖数据的边界。

实验结果

研究问题

• RQ1 能否在不假设核函数完全已知的前提下，为无噪声设定下的GP-UCB和汤普森采样建立紧致的遗憾界？
• RQ2 从数据中逐步估计核函数如何影响贝叶斯优化算法的理论遗憾保证？
• RQ3 通过有界RKHS范数衡量的目标函数光滑性，对贝叶斯优化收敛率有何影响？
• RQ4 能否将GP-UCB和汤普森采样的理论分析扩展到核超参数从数据中学习的实际场景？
• RQ5 所推导的遗憾界与假设核函数已知或固定的现有结果相比如何？

主要发现

• 该论文在马尔可夫RKHS光滑性假设下，为无噪声设定中的GP-UCB和汤普森采样建立了目前已知最紧致的遗憾界。
• 即使核参数从数据中估计，该边界依然有效，使结果适用于实际实现。
• 在假设的光滑性下，遗憾界呈 O(√T log T) 阶，与无噪声情况下的最优速率一致。
• 分析考虑了核估计中的不确定性，表明学习核函数不会导致遗憾率劣化于已知核函数的情况。
• 与假设核函数完全已知的先前结果相比，所推导的边界更紧，尤其在低数据场景下优势明显。
• 该理论框架支持在贝叶斯优化中采用序列核学习，而无需牺牲收敛性保证。