[论文解读] Prediction performance after learning in Gaussian process regression

Johan Wågberg, Dave Zachariah+2 more|arXiv (Cornell University)|Jun 13, 2016

Gaussian Processes and Bayesian Inference参考文献 11被引用 13

一句话总结

本文通过使用广义Cramér-Rao界，考虑超参数学习中的不确定性，提出了高斯过程回归中均方误差（MSE）的更紧下界。该方法通过在标准预测方差中增加一个模型学习误差项，改进了预测不确定性量化，从而在无需复杂边缘化或先验分布的情况下，提供了更可靠的误差条。

ABSTRACT

This paper considers the quantification of the prediction performance in Gaussian process regression. The standard approach is to base the prediction error bars on the theoretical predictive variance, which is a lower bound on the mean square-error (MSE). This approach, however, does not take into account that the statistical model is learned from the data. We show that this omission leads to a systematic underestimation of the prediction errors. Starting from a generalization of the Cramér-Rao bound, we derive a more accurate MSE bound which provides a measure of uncertainty for prediction of Gaussian processes. The improved bound is easily computed and we illustrate it using synthetic and real data examples. of uncertainty for prediction of Gaussian processes and illustrate it using synthetic and real data examples.

研究动机与目标

• 解决当超参数从数据中学习时，高斯过程回归中预测误差被系统性低估的问题。
• 为不确定性量化提供一种计算高效的全贝叶斯边缘化替代方法。
• 推导一个考虑模型学习不确定性的更紧的均方误差下界。
• 在主动学习和贝叶斯优化等应用中，提升预测误差条的可靠性。

提出的方法

• 推导一个广义Cramér-Rao界（GCRB），通过引入所学习参数的费舍尔信息，考虑超参数的不确定性。
• 将MSE下界表述为标准预测方差与一个额外项之和，该额外项涉及预测器对超参数的梯度。
• 利用贝叶斯Cramér-Rao界（BCRB）框架，推导一个包含超参数估计不确定性在内的MSE下界。
• 使用超参数的费舍尔信息矩阵的逆来计算校正项，特别针对均值函数参数。
• 使用标准GP工具应用该界：预测均值、核矩阵，以及预测器对超参数的梯度。
• 通过合成数据和真实世界数据验证该界，结果表明其误差估计比标准预测方差更紧。

实验结果

研究问题

• RQ1 从数据中学习超参数如何影响高斯过程回归中预测误差条的准确性？
• RQ2 能否推导出一个更紧的均方误差下界，以考虑学习到的超参数的不确定性？
• RQ3 所提出的界在实际设置中是否计算可行，且比标准预测方差更准确？
• RQ4 广义Cramér-Rao界的校正项如何在真实和合成数据中改善不确定性量化？

主要发现

• 当超参数从数据中学习时，标准预测方差系统性地低估了真实的均方误差。
• 所提出的界通过增加一个校正项，优于标准预测方差，该校正项考虑了超参数估计的不确定性。
• 校正项来源于预测器对均值函数超参数的梯度，以及费舍尔信息矩阵的逆。
• 改进后的界计算效率高，可使用标准GP推理工具计算，无需先验分布或数值积分。
• 在合成数据和真实数据上的实证结果表明，新界提供的误差估计显著更紧且更准确，优于标准预测方差。
• 该界被证明是MSE的有效下界，并在模型学习条件下被证明比标准预测方差更紧。