[论文解读] MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation

Amanda Muyskens, Benjamin W. Priest+2 more|arXiv (Cornell University)|Apr 29, 2021

Gaussian Processes and Bayesian Inference参考文献 35被引用 6

一句话总结

MuyGPs 提出了一种可扩展的高斯过程超参数估计方法，通过使用 k-最近邻的局部交叉验证来优化核函数超参数，而无需计算完整的协方差矩阵。该方法在预测精度（RMSE 为 1.42）和计算效率方面均达到最先进水平，在地表温度基准测试中实现亚分钟级运行时间，优于现有方法。

ABSTRACT

Gaussian processes (GPs) are non-linear probabilistic models popular in many applications. However, naïve GP realizations require quadratic memory to store the covariance matrix and cubic computation to perform inference or evaluate the likelihood function. These bottlenecks have driven much investment in the development of approximate GP alternatives that scale to the large data sizes common in modern data-driven applications. We present in this manuscript MuyGPs, a novel efficient GP hyperparameter estimation method. MuyGPs builds upon prior methods that take advantage of the nearest neighbors structure of the data, and uses leave-one-out cross-validation to optimize covariance (kernel) hyperparameters without realizing a possibly expensive likelihood. We describe our model and methods in detail, and compare our implementations against the state-of-the-art competitors in a benchmark spatial statistics problem. We show that our method outperforms all known competitors both in terms of time-to-solution and the root mean squared error of the predictions.

研究动机与目标

• 解决全高斯过程推理的计算瓶颈，其计算复杂度随数据规模呈立方级增长。
• 开发一种可扩展的超参数估计方法，避免昂贵的似然评估和完整的协方差矩阵存储。
• 与现有近似高斯过程方法相比，提升预测精度并减少计算时间。
• 通过利用局部邻域和批量优化，实现非平稳高斯过程模型的高效估计。

提出的方法

• MuyGPs 对每个测试点的 k-最近邻执行留一法交叉验证，以估计超参数，而无需构建完整的协方差矩阵。
• 通过仅使用局部数据最小化局部留一法均方误差来优化超参数，从而降低计算成本。
• 该方法采用批量处理方式，将数据分批处理，进一步提升可扩展性并减少内存使用。
• 预测仅基于每个查询位置的 k-最近训练点进行，确保局部适应性和效率。
• 支持平稳和非平稳均值函数，后者被证明可略微提升精度。
• 该方法兼容多种核函数，并可扩展至二阶非平稳模型。

实验结果

研究问题

• RQ1 在大规模高斯过程模型中，基于 k-最近邻的局部交叉验证是否能实现优于全局似然最大化方法的超参数估计？
• RQ2 MuyGPs 在预测精度和运行时间方面与最先进可扩展高斯过程方法相比表现如何？
• RQ3 批量大小和最近邻数量对精度与计算成本之间权衡的影响是什么？
• RQ4 MuyGPs 是否能有效估计非平稳高斯过程模型，且不会带来过高的计算成本？

主要发现

• 在地表温度基准测试中，MuyGPs 达到了 1.42 的 RMSE，预测精度优于所有已知竞争对手。
• 该方法所有计算均在 1 分钟内完成，使其在相同数据集上比以往测试的所有方法更快。
• 仅使用 50 个近似最近邻时，MuyGPs 仍保持了具有竞争力的精度，表明对邻域大小减小具有鲁棒性。
• 该方法实现了 95% 的不确定性覆盖，接近名义水平，表明预测区间校准良好。
• 仅使用 1.8% 的训练数据（2,000 个分批点），MuyGPs 实现了近乎零的性能方差，表明其具有高度稳定性。
• 非平稳均值函数带来了微小但可测量的精度提升，表明其与复杂建模需求兼容。