[论文解读] Practical Hilbert space approximate Bayesian Gaussian processes for probabilistic programming

Gabriel Riutort‐Mayol, Paul‐Christian Bürkner+3 more|arXiv (Cornell University)|Apr 23, 2020

Gaussian Processes and Bayesian Inference参考文献 47被引用 26

一句话总结

本文提出了一种基于希尔伯特空间的实用低秩近似方法，用于全贝叶斯高斯过程，采用拉普拉斯特征函数，实现在概率编程中的高效且精确的推断。该方法通过基于自适应选择基函数和边界因子的基展开表示GP，实现线性计算复杂度，并通过诊断和Stan实现验证，展现出强劲的实证性能。

ABSTRACT

Gaussian processes are powerful non-parametric probabilistic models for stochastic functions. However, the direct implementation entails a complexity that is computationally intractable when the number of observations is large, especially when estimated with fully Bayesian methods such as Markov chain Monte Carlo. In this paper, we focus on a low-rank approximate Bayesian Gaussian processes, based on a basis function approximation via Laplace eigenfunctions for stationary covariance functions. The main contribution of this paper is a detailed analysis of the performance, and practical recommendations for how to select the number of basis functions and the boundary factor. Intuitive visualizations and recommendations, make it easier for users to improve approximation accuracy and computational performance. We also propose diagnostics for checking that the number of basis functions and the boundary factor are adequate given the data. The approach is simple and exhibits an attractive computational complexity due to its linear structure, and it is easy to implement in probabilistic programming frameworks. Several illustrative examples of the performance and applicability of the method in the probabilistic programming language Stan are presented together with the underlying Stan model code.

研究动机与目标

• 开发一种适用于概率编程框架的可扩展全贝叶斯高斯过程方法。
• 解决标准GP推断在大规模数据集下的O(n³)计算瓶颈问题。
• 为基函数数量和边界因子的选择提供实用且基于数据的建议。
• 引入诊断方法以验证给定数据下近似的充分性。
• 通过Stan中线性复杂度的非中心化参数化实现准确且高效的推断。

提出的方法

• 对平稳核的协方差函数使用拉普拉斯特征函数进行近似，形成低秩基展开。
• 将GP表示为余弦和正弦基函数的线性组合，其系数为i.i.d.标准正态分布。
• 采用非中心化参数化以提升MCMC混合效率和后验抽样效率。
• 通过迭代诊断方法，基于后验长度尺度估计自适应选择基函数数量和边界因子。
• 通过谱分解推导最优边界因子和最小基函数数量的解析表达式。
• 在概率编程语言Stan中实现该方法，并提供开源模型代码。

实验结果

研究问题

• RQ1 如何使基于希尔伯特空间的高斯过程低秩近似在全贝叶斯推断中变得实用且高效？
• RQ2 在近似中，选择基函数数量和边界因子的有效且基于数据的策略是什么？
• RQ3 如何构建诊断方法以验证近似对给定数据集是否足够准确？
• RQ4 该方法在将计算复杂度降低至O(nm²)（其中m ≪ n）的同时，能在多大程度上保持准确性？
• RQ5 该方法在真实概率编程工作流中表现如何，特别是在Stan中？

主要发现

• 该方法实现线性计算复杂度O(n(2J+1) + (2J+1)²)，其中J为基函数数量，实现可扩展推断。
• 基于后验长度尺度估计的诊断检查（例如，∣ℓ̂ − ℓ∣ ≤ 0.01）能可靠指示近似是否充分。
• 对于真实长度尺度ℓGP = 0.08，迭代过程在3轮后收敛，最终诊断确认了近似的充分性。
• 对于更大的长度尺度ℓGP = 1.4，诊断在第一轮即确认了充分性，表明收敛更快。
• RMSE、R²和ELPD在迭代过程中的稳定性，证实近似已达到足够的准确性。
• 非中心化参数化实现了高效的MCMC抽样，使该方法适合集成到Stan等概率编程框架中。