[论文解读] Variational Inference for Uncertainty on the Inputs of Gaussian Process Models

Andreas Damianou, Michalis K. Titsias+1 more|arXiv (Cornell University)|Sep 8, 2014

Gaussian Processes and Bayesian Inference参考文献 64被引用 24

一句话总结

本文提出了一种高斯过程潜在变量模型（GP-LVMs）的变分推理框架，通过积分化潜在输入而非最大化它们，实现了鲁棒的自动维数选择和不确定性量化。该方法使用非标准的变分近似来优化边缘似然的下界，展示了在合成数据、基准数据和高分辨率视频数据上的改进泛化能力和性能。

ABSTRACT

The Gaussian process latent variable model (GP-LVM) provides a flexible approach for non-linear dimensionality reduction that has been widely applied. However, the current approach for training GP-LVMs is based on maximum likelihood, where the latent projection variables are maximized over rather than integrated out. In this paper we present a Bayesian method for training GP-LVMs by introducing a non-standard variational inference framework that allows to approximately integrate out the latent variables and subsequently train a GP-LVM by maximizing an analytic lower bound on the exact marginal likelihood. We apply this method for learning a GP-LVM from iid observations and for learning non-linear dynamical systems where the observations are temporally correlated. We show that a benefit of the variational Bayesian procedure is its robustness to overfitting and its ability to automatically select the dimensionality of the nonlinear latent space. The resulting framework is generic, flexible and easy to extend for other purposes, such as Gaussian process regression with uncertain inputs and semi-supervised Gaussian processes. We demonstrate our method on synthetic data and standard machine learning benchmarks, as well as challenging real world datasets, including high resolution video data.

研究动机与目标

• 解决通过最大似然训练的传统GP-LVMs中存在的过拟合和缺乏自动维数选择的问题。
• 开发一种贝叶斯框架，通过积分化潜在变量而非最大化它们，以改善泛化能力和不确定性估计。
• 通过统一的变分推理方法，将GP-LVMs扩展至处理具有时间相关性的观测数据和不确定输入。
• 实现在复杂高维数据（如动作捕捉和视频序列）上GP-LVMs的可扩展且鲁棒的训练。

提出的方法

• 提出一种非标准的变分推理框架，以近似GP-LVMs中潜在输入的真实后验分布。
• 使用高斯变分近似 $ q(Θ) = \mathcal{N}(\hat{\bm{\mu}}, \hat{\mathbf{S}}) $ 来表示潜在变量中的不确定性，其中 $ \Theta $ 表示潜在输入矩阵。
• 推导出边缘似然的解析下界，通过最大化该下界来训练模型，避免了难以处理的积分。
• 通过状态空间建模，将该框架应用于独立同分布观测和具有时间依赖性的非线性动力系统。
• 在核函数中采用自动相关性确定（ARD），通过剪枝无关的潜在维度实现自动维数选择。
• 通过将观测输入视为噪声输入或潜在变量，将该方法扩展至半监督学习和不确定输入的回归。

实验结果

研究问题

• RQ1 与最大似然训练相比，GP-LVMs中对潜在输入进行变分推理是否能提升对过拟合的鲁棒性？
• RQ2 所提出的框架能否在无需人工调参的情况下自动确定潜在空间的最优维数？
• RQ3 该方法在具有时间相关性的数据（如动作捕捉序列）上的泛化能力如何？
• RQ4 通过从训练分布之外的潜在空间采样，模型能否生成新颖且合理的数据点？

主要发现

• 变分GP-LVM在合成数据和真实世界数据（包括高分辨率视频数据）上实现了更优的泛化能力和对过拟合的鲁棒性。
• 该方法通过ARD核权重自动选择潜在空间的有效维数，部分维度被有效剪枝（例如，零尺度权重表示无关维度）。
• 在动作捕捉数据上，模型成功将“行走”和“跑步”模式分离为潜在空间中的不同子空间，其中一个维度（例如第4维）用于区分这两种模式。
• 从潜在空间采样可生成平滑且合理的新型运动，这些运动不在训练集中，展示了模型的生成能力。
• 动力学变分GP-LVM的预测性能优于最近邻基线方法，并在基准数据集上达到或超过最先进水平。
• 该框架通过将输入视为具有学习到分布的潜在变量，实现了不确定性感知的回归和半监督学习。