[论文解读] Theoretical Analysis of Bayesian Optimisation with Unknown Gaussian Process Hyper-Parameters

Ziyu Wang, Nando de Freitas|arXiv (Cornell University)|Jun 30, 2014

Advanced Bandit Algorithms Research参考文献 22被引用 38

一句话总结

本文首次为在核超参数未知且存在随机观测噪声的情况下使用高斯过程的贝叶斯优化提供了理论累积遗憾界。研究证明，在使用自适应超参数估计的期望改进策略下，可在次高斯噪声条件下实现次线性遗憾，为实践中鲁棒的超参数学习提供了理论指导。

ABSTRACT

Bayesian optimisation has gained great popularity as a tool for optimising the parameters of machine learning algorithms and models. Somewhat ironically, setting up the hyper-parameters of Bayesian optimisation methods is notoriously hard. While reasonable practical solutions have been advanced, they can often fail to find the best optima. Surprisingly, there is little theoretical analysis of this crucial problem in the literature. To address this, we derive a cumulative regret bound for Bayesian optimisation with Gaussian processes and unknown kernel hyper-parameters in the stochastic setting. The bound, which applies to the expected improvement acquisition function and sub-Gaussian observation noise, provides us with guidelines on how to design hyper-parameter estimation methods. A simple simulation demonstrates the importance of following these guidelines.

研究动机与目标

• 解决在高斯过程超参数未知且必须从有限数据中估计时，贝叶斯优化缺乏理论分析的问题。
• 将先前针对确定性情形的遗憾界扩展至具有次高斯观测噪声的随机设定。
• 为贝叶斯优化中的超参数估计方法提供理论依据，尤其是在函数评估存在噪声的情况下。
• 通过形式化的遗憾分析，指导鲁棒超参数估计策略的设计。

提出的方法

• 推导在高斯过程超参数未知条件下，使用期望改进获取函数的贝叶斯优化的累积遗憾界。
• 分析具有次高斯观测噪声的随机设定，包括对称高斯分布、伯努利分布和均匀分布噪声。
• 采用具有高斯过程先验的贝叶斯框架，并推导最优奖励与观测奖励之间差异的界。
• 应用集中不等式和高斯过程后验方差的性质，以控制估计误差。
• 通过核长度尺度的下界和上界，引入对超参数不确定性的辅助界。
• 利用柯西-施瓦茨不等式和对数求和不等式，对 T 次迭代的累积遗憾进行上界估计。

实验结果

研究问题

• RQ1 在超参数未知且观测具有随机性的情况下，贝叶斯优化的理论性能保证（以遗憾衡量）是什么？
• RQ2 当超参数无法先验已知时，次高斯噪声如何影响贝叶斯优化的收敛速率？
• RQ3 在超参数不确定条件下，能否为期望改进获取函数建立理论遗憾界？
• RQ4 在随机设定下，为确保次线性遗憾，对超参数估计需满足何种条件？

主要发现

• 本文为超参数未知且存在次高斯噪声的贝叶斯优化建立了形式为 O(√T log T) 的累积遗憾界。
• 遗憾界依赖于超参数估计误差和后验方差，显式依赖于对数项 log((t+σ²)/σ²)。
• 分析表明，超参数估计方法的选择对遗憾有关键影响，不当估计可能导致收敛性能下降。
• 该界在超参数被限制在已知区间内的假设下推导得出，将先前针对确定性函数的工作扩展至随机情形。
• 仿真结果表明，遵循理论指导的策略性能优于朴素的超参数估计方法。