[论文解读] Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models - a Gentle Tutorial

Yarin Gal, Mark van der Wilk|arXiv (Cornell University)|Feb 6, 2014

Gaussian Processes and Bayesian Inference参考文献 7被引用 7

一句话总结

本教程系统推导了稀疏高斯过程回归与高斯过程潜变量模型（GPLVM）的变分推断，引入一种重参数化方法，实现大规模数据集上的分布式、可扩展推断。核心贡献是一个统一的、可完全推导的框架，明确给出了超参数、诱导点和潜变量的偏导数——这对扩展和实现并行高斯过程模型至关重要。

ABSTRACT

In this tutorial we explain the inference procedures developed for the sparse Gaussian process (GP) regression and Gaussian process latent variable model (GPLVM). Due to page limit the derivation given in Titsias (2009) and Titsias & Lawrence (2010) is brief, hence getting a full picture of it requires collecting results from several different sources and a substantial amount of algebra to fill-in the gaps. Our main goal is thus to collect all the results and full derivations into one place to help speed up understanding this work. In doing so we present a re-parametrisation of the inference that allows it to be carried out in parallel. A secondary goal for this document is, therefore, to accompany our paper and open-source implementation of the parallel inference scheme for the models. We hope that this document will bridge the gap between the equations as implemented in code and those published in the original papers, in order to make it easier to extend existing work. We assume prior knowledge of Gaussian processes and variational inference, but we also include references for further reading where appropriate.

研究动机与目标

• 弥合稀疏高斯过程模型中已发表公式与代码实现之间的差距。
• 完整、自包含地推导稀疏GP回归与GPLVM的变分下界，填补文献中常被省略的空白。
• 通过重参数化使模型条件性地解耦数据，实现可扩展、分布式推断，适用于大规模数据集。
• 为所有关键变量（核超参数、诱导点位置、潜变量输入（嵌入））提供显式的解析导数推导。
• 通过将公式与开源软件中的计算实现直接关联，支持代码的扩展与实现。

提出的方法

• 本文通过一种条件性解耦数据的重参数化方法，推导了稀疏GP回归与GPLVM的变分下界，从而实现分布式优化。
• 采用对函数值的高斯近似 $ q(F|X) $，以及对潜变量输入的变分分布 $ q(X_i) = \mathcal{N}(X_i; \mu_i, S_i) $。
• 通过积分消去潜变量函数，并利用矩匹配近似输入分布的期望，推导出下界 $ \mathcal{F} $。
• 关键组成部分包括核矩阵的期望 $ \langle K_{mi}^{X_i} \rangle_{q(X_i)} $、$ \langle K_{mi}^{X_i}K_{im}^{X_i} \rangle_{q(X_i)} $，以及变分分布与先验分布之间关于输入的KL散度。
• 为所有参数（$ \mu_i $、$ S_i $、核超参数（如带ARD的RBF）、$ \beta $、以及诱导点位置）推导出显式解析偏导数。
• 该方法支持通过精确梯度优化核超参数与潜变量，实现端到端训练。

实验结果

研究问题

• RQ1 如何完整推导稀疏GP回归与GPLVM的变分下界，包含所有中间步骤？
• RQ2 何种重参数化方法可实现这些模型的分布式与可扩展推断？
• RQ3 如何为所有模型参数（包括潜变量输入与诱导点）计算精确的偏导数？
• RQ4 变分目标中关于噪声精度 $ \beta $ 的梯度的解析形式是什么？
• RQ5 如何高效计算并微分潜变量输入上变分分布与先验分布之间的KL散度？

主要发现

• 推导出的变分下界在数学上等价于Titsias & Lawrence (2010)的结果，但通过重参数化实现了分布式推断。
• 显式推导了下界对 $ \mu_{iq} $、$ S_{iq} $ 和 $ \beta $ 的偏导数，从而支持对所有模型参数的梯度优化。
• 对 $ \mu_{iq} $ 的梯度包含与 $ \alpha_q(\mu_{iq} - Z_{mq}) / (\alpha_q S_{iq} + 1) $ 成比例的项，捕捉了对潜变量位置的敏感性。
• KL散度 $ KL(q(X_i) || p(X_i)) $ 对 $ \mu_i $ 的导数为 $ \mu_i $，对 $ S_{iq} $ 的导数为 $ \frac{1}{2}(1 - 1/S_{iq}) $。
• 对 $ \beta $ 的梯度包含矩阵逆与乘积的迹，利用矩阵微分恒等式推导得出。
• 完整的推导支持对核超参数与潜变量的可扩展、并行优化，使模型可应用于大规模数据集。