[论文解读] Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression

Haibin Yu, Trong Nghia Hoang+2 more|arXiv (Cornell University)|Nov 1, 2017

Gaussian Processes and Bayesian Inference参考文献 45被引用 6

一句话总结

本文提出了一种用于贝叶斯稀疏高斯过程回归（VBSGPR）的随机变分推断框架，将诱导变量和超参数联合优化为变分参数，实现了每轮迭代的恒定时间可扩展性随机优化。该方法通过无偏随机梯度实现渐近收敛，并在大规模数据集上表现出色，同时通过超参数的完整后验推断保持了不确定性量化。

ABSTRACT

This paper presents a novel variational inference framework for deriving a family of Bayesian sparse Gaussian process regression (SGPR) models whose approximations are variationally optimal with respect to the full-rank GPR model enriched with various corresponding correlation structures of the observation noises. Our variational Bayesian SGPR (VBSGPR) models jointly treat both the distributions of the inducing variables and hyperparameters as variational parameters, which enables the decomposability of the variational lower bound that in turn can be exploited for stochastic optimization. Such a stochastic optimization involves iteratively following the stochastic gradient of the variational lower bound to improve its estimates of the optimal variational distributions of the inducing variables and hyperparameters (and hence the predictive distribution) of our VBSGPR models and is guaranteed to achieve asymptotic convergence to them. We show that the stochastic gradient is an unbiased estimator of the exact gradient and can be computed in constant time per iteration, hence achieving scalability to big data. We empirically evaluate the performance of our proposed framework on two real-world, massive datasets.

研究动机与目标

• 为解决现有变分稀疏高斯过程模型每轮迭代消耗线性时间的可扩展性限制，特别是在大规模数据场景下。
• 开发一种统一框架，将诱导变量和超参数联合视为变分参数，从而实现可分解的变分下界。
• 实现在每轮迭代中复杂度恒定的随机优化，同时确保渐近收敛至最优变分近似。
• 支持对超参数的完整贝叶斯推断，捕捉模型参数的不确定性，从而提升下游任务的鲁棒性。
• 在大规模真实世界数据集上实证验证该框架，证明其可扩展性与预测准确性。

提出的方法

• 该框架构建了一个由于将诱导变量和超参数联合视为变分参数而可分解的变分下界。
• 采用在变分下界上的随机梯度上升法，通过小批量数据高效计算梯度。
• 每轮迭代中，随机梯度是真实梯度的无偏估计器，且计算时间恒定，与数据集大小无关。
• 该方法采用结构化的变分近似，包含诱导输入和噪声结构，从而实现预测均值与方差的高效计算。
• 通过蒙特卡洛采样对超参数的变分后验进行预测分布计算，因为闭式期望不可求解。
• 该框架支持在线与分布式扩展，适用于流式数据与大规模数据处理。

实验结果

研究问题

• RQ1 能否设计一种用于稀疏高斯过程回归的变分推断框架，将诱导变量和超参数联合优化为变分参数？
• RQ2 此类框架是否能在保持收敛性保证的前提下，实现每轮迭代的恒定时间随机优化？
• RQ3 该方法是否能扩展至百万量级数据集，同时保持对超参数估计的不确定性量化？
• RQ4 所提出的VBSGPR模型在大规模真实世界数据上的预测性能与现有稀疏高斯过程方法相比如何？
• RQ5 与基于点估计的方法相比，该框架是否能维持或改善预测不确定性的校准性能？

主要发现

• 所提出的VBSGPR框架实现了每轮随机梯度更新的恒定时间计算，使模型可扩展至包含数百万数据点的大数据集。
• 随机梯度是真实梯度的无偏估计器，确保渐近收敛至最优变分近似。
• 在两个大规模真实世界数据集上，该方法在预测准确性和不确定性校准方面优于现有变分稀疏高斯过程模型。
• 通过学习超参数的完整后验分布，该框架捕捉了参数不确定性，相较于点估计方法显著降低了过拟合风险。
• 可分解的变分下界使得高效随机优化成为可能，克服了先前变分高斯过程方法的线性时间瓶颈。
• 实证结果证实，该框架在高效扩展的同时，保持了高性能的预测能力。