[论文解读] The Variational Gaussian Process

Dustin Tran, Rajesh Ranganath+1 more|arXiv (Cornell University)|Nov 20, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用 15

一句话总结

变分高斯过程（VGP）是一种贝叶斯非参数变分推断方法，利用高斯过程学习潜在变量的灵活、自适应变换，实现对复杂后验分布的通用近似。通过学习变分数据和核超参数的非线性映射，该方法在无监督学习中取得了最先进结果，包括在二值化MNIST数据集上达到-79.88的负对数似然，以及在Sketch数据集上性能提升。

ABSTRACT

Variational inference is a powerful tool for approximate inference, and it has been recently applied for representation learning with deep generative models. We develop the variational Gaussian process (VGP), a Bayesian nonparametric variational family, which adapts its shape to match complex posterior distributions. The VGP generates approximate posterior samples by generating latent inputs and warping them through random non-linear mappings; the distribution over random mappings is learned during inference, enabling the transformed outputs to adapt to varying complexity. We prove a universal approximation theorem for the VGP, demonstrating its representative power for learning any model. For inference we present a variational objective inspired by auto-encoders and perform black box inference over a wide class of models. The VGP achieves new state-of-the-art results for unsupervised learning, inferring models such as the deep latent Gaussian model and the recently proposed DRAW.

研究动机与目标

• 开发一种灵活、自适应的变分族，以近似贝叶斯推断中的复杂后验分布。
• 通过贝叶斯非参数构造，实现对任意连续后验分布的通用近似。
• 提供一种与多种概率模型（包括深度生成模型）兼容的黑箱推断方法。
• 改进深度生成模型（如深度潜在高斯模型和DRAW）中的表征学习与似然估计。

提出的方法

• VGP使用基础分布生成潜在输入，随后通过由高斯过程定义的随机非线性映射进行变换。
• 这些非线性映射的分布通过核超参数和一组变分数据（输入-输出对）在推断过程中进行学习。
• 通过GP诱导的映射对基础输入进行变换，构建变分族，使模型能够根据后验分布自适应调整复杂度。
• 使用随机优化算法最小化变分近似与真实后验之间的KL散度，灵感来源于自编码器目标。
• 通过支持端到端训练且无需模型架构修改，实现跨多种模型的黑箱推断。
• 变分数据作为GP的锚点，使模型能够学习复杂、依赖数据的变换，从而提升后验近似效果。

实验结果

研究问题

• RQ1 能否构建一种自适应捕捉任意后验分布复杂度的变分族？
• RQ2 是否可能通过贝叶斯非参数变分模型实现对连续后验分布的通用近似？
• RQ3 VGP在改进深度生成模型中的似然估计与表征学习方面效果如何？
• RQ4 VGP能否作为DRAW和深度潜在高斯模型等模型中均值场变分族的即插即用替代方案？

主要发现

• 在二值化MNIST数据集上，VGP实现了-79.88的负预测对数似然，创下使用DRAW架构模型的新SOTA记录。
• 对于深度潜在高斯模型，VGP实现了-81.32的负对数似然，优于此前最佳结果-82.90。
• 在Sketch数据集上，VGP增强的DRAW模型在300个周期后达到423.9的下界，显著优于原始DRAW模型。
• VGP增强的DRAW模型生成的图像在纹理、清晰度和结构复杂度方面均优于原始模型。
• VGP展现出通用近似能力，证明在弱条件下可表示任意连续后验分布。
• 该方法支持广泛模型类别的黑箱变分推断，无需针对特定模型推导，即可实现高效的随机优化。