[论文解读] Stochastic Variational Inference for Fully Bayesian Sparse Gaussian Process Regression Models.

Haibin Yu, Trong Nghia Hoang+2 more|arXiv (Cornell University)|Nov 1, 2017

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出了一种用于完全贝叶斯稀疏高斯过程回归（VBSGPR）的随机变分推断框架，通过随机梯度联合优化诱导变量和超参数。该方法实现了渐近收敛性，并且每次迭代的计算时间为常数，从而在保持相对于具有结构化噪声的满秩GPR模型的变分最优性的同时，实现了大规模数据上的可扩展推断。

ABSTRACT

This paper presents a novel variational inference framework for deriving a family of Bayesian sparse Gaussian process regression (SGPR) models whose approximations are variationally optimal with respect to the full-rank GPR model enriched with various corresponding correlation structures of the observation noises. Our variational Bayesian SGPR (VBSGPR) models jointly treat both the distributions of the inducing variables and hyperparameters as variational parameters, which enables the decomposability of the variational lower bound that in turn can be exploited for stochastic optimization. Such a stochastic optimization involves iteratively following the stochastic gradient of the variational lower bound to improve its estimates of the optimal variational distributions of the inducing variables and hyperparameters (and hence the predictive distribution) of our VBSGPR models and is guaranteed to achieve asymptotic convergence to them. We show that the stochastic gradient is an unbiased estimator of the exact gradient and can be computed in constant time per iteration, hence achieving scalability to big data. We empirically evaluate the performance of our proposed framework on two real-world, massive datasets.

研究动机与目标

• 开发一种完全贝叶斯稀疏高斯过程回归模型，使其相对于具有结构化噪声的满秩GPR模型保持变分最优性。
• 通过为变分参数制定随机优化过程，实现在大规模数据上的可扩展推断。
• 将诱导变量和超参数联合视为变分参数，以实现可分解的下界。
• 确保优化过程渐近收敛至最优变分分布。
• 在每次迭代中实现常数时间的梯度计算，以支持大规模数据集的可扩展性。

提出的方法

• 提出一种变分贝叶斯SGPR（VBSGPR）框架，其中将诱导变量和超参数均视为变分参数。
• 推导出一个可分解的变分下界，以促进高效的随机优化。
• 采用随机梯度下降迭代更新诱导变量和超参数的变分分布。
• 计算精确梯度的无偏随机梯度估计器，每次迭代具有常数时间复杂度。
• 利用下界的可分解性，实现在大规模数据集上的可扩展、迭代式优化。
• 保证随机优化渐近收敛至最优变分分布。

实验结果

研究问题

• RQ1 能否开发一种完全贝叶斯稀疏GP模型，使其相对于具有结构化噪声的满秩GPR模型实现变分最优性？
• RQ2 能否有效将随机优化应用于贝叶斯GP框架中联合推断诱导变量和超参数？
• RQ3 所提出的方法是否能确保渐近收敛至最优变分分布？
• RQ4 所提出的随机梯度是否能在每次迭代中以常数时间计算，从而支持大规模数据的可扩展性？
• RQ5 与现有方法相比，该框架在真实世界大规模数据集上的表现如何？

主要发现

• 所提出的VBSGPR框架实现了对诱导变量和超参数最优变分分布的渐近收敛。
• 随机梯度是精确梯度的无偏估计器，确保了可靠的优化更新。
• 每次优化迭代的运行时间保持为常数，从而实现了对大规模数据集的高效扩展。
• 该方法相对于具有各种结构化噪声相关模式的满秩GPR模型保持了变分最优性。
• 实证评估证实了该框架在两个真实世界大规模数据集上的有效性，展示了其可扩展性和性能。