[论文解读] Parametric Gaussian Process Regressors

Martin Jankowiak, Geoff Pleiss+1 more|arXiv (Cornell University)|Oct 16, 2019

Gaussian Processes and Bayesian Inference参考文献 46被引用 8

一句话总结

本文提出参数化高斯过程回归器（PPGPR），一种新颖的可扩展高斯过程回归方法，其直接优化预测分布而非近似后验分布。通过使用诱导点参数化灵活的均值和方差函数，PPGPR在不确定性校准方面表现更优，且对数似然值显著提高——通常每数据点提升高达半个nat，优于标准变分推断方法。

ABSTRACT

The combination of inducing point methods with stochastic variational inference has enabled approximate Gaussian Process (GP) inference on large datasets. Unfortunately, the resulting predictive distributions often exhibit substantially underestimated uncertainties. Notably, in the regression case the predictive variance is typically dominated by observation noise, yielding uncertainty estimates that make little use of the input-dependent function uncertainty that makes GP priors attractive. In this work we propose two simple methods for scalable GP regression that address this issue and thus yield substantially improved predictive uncertainties. The first applies variational inference to FITC (Fully Independent Training Conditional; Snelson et.~al.~2006). The second bypasses posterior approximations and instead directly targets the posterior predictive distribution. In an extensive empirical comparison with a number of alternative methods for scalable GP regression, we find that the resulting predictive distributions exhibit significantly better calibrated uncertainties and higher log likelihoods--often by as much as half a nat per datapoint.

研究动机与目标

• 为解决可扩展高斯过程回归中常见的不确定性过度自信问题，特别是输入相关函数不确定性利用不足的问题。
• 通过直接建模预测分布而非近似后验分布，提升大规模高斯过程回归中的预测不确定性校准能力。
• 开发一种可扩展的方法，在保持高预测性能的同时生成校准良好的不确定性估计。
• 证明直接优化预测分布可获得比通过变分推断近似后验分布更优的对数似然值和不确定性校准效果。
• 为深度核学习中的蒙特卡洛丢弃提供一种实用、快速的推理替代方案，其方差可通过解析计算获得。

提出的方法

• 提出PPGPR-δ方法，将变分推断应用于FITC（完全独立训练条件）高斯过程框架，以改进不确定性估计。
• 引入PPGPR-Chol，采用基于Cholesky分解的预测分布参数化方法，确保协方差矩阵为正定矩阵。
• 提出PPGPR-MFD（均值函数解耦），在预测分布中分离均值与方差函数，同时共享核超参数，从而实现RMSE与NLL之间的更优权衡。
• 利用诱导点定义预测分布的参数化族，实现对输入相关不确定性灵活且可扩展的建模。
• 通过最大似然法直接优化预测分布，避免变分推断中固有的不确定性分量不对称处理问题。
• 采用灵活的参数化形式对预测方差进行建模，利用诱导点方法的结构以控制模型容量。

实验结果

研究问题

• RQ1 在高斯过程回归中，直接优化预测分布是否能比通过变分推断近似后验分布获得更校准的不确定性？
• RQ2 基于诱导点的预测分布参数化族是否能提升大规模高斯过程回归中的对数似然值与不确定性校准效果？
• RQ3 在预测分布中解耦均值与方差函数，对预测准确性（RMSE）与不确定性校准（NLL）之间的权衡有何影响？
• RQ4 PPGPR在真实世界回归任务中，是否能在对数似然值与不确定性校准方面均优于标准SVGP与MAP估计？
• RQ5 PPGPR是否为深度核学习中的不确定性估计提供了一种比蒙特卡洛丢弃更快、更可靠的替代方案？

主要发现

• PPGPR-MFD在基准数据集上的NLL指标中取得最佳对数似然性能，平均排名为1.81。
• PPGPR-MFD在所有方法中RMSE最低（1.82），表明其在保持高不确定性校准的同时具备出色的预测准确性。
• PPGPR-Chol在NLL（1.59）与CRPS（1.40）指标上表现最佳，证明其具有卓越的不确定性校准能力。
• PPGPR-δ与PPGPR-Chol相比基线方法（如SVGP与MAP），对数似然值提升最高达每数据点半个nat。
• 在深度核学习中，PPGPR+DKL在不确定性校准方面优于SVGP+DKL与MCDropout，且由于采用解析方差计算，测试时推理速度显著更快。
• 结果表明，SVGP性能优异可能更多源于其核函数的表达能力，而非贝叶斯一致性，凸显了直接预测建模的价值。