[论文解读] Sparse Gaussian Process Variational Autoencoders

Matthew Ashman, Jonathan So+4 more|arXiv (Cornell University)|Oct 20, 2020

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出稀疏高斯过程变分自编码器（SGP-VAE），一种深度生成模型，通过推理网络将稀疏高斯过程与变分自编码器结合，实现对多输出稀疏高斯过程的高效、迁移推理。该模型通过部分推理网络支持缺失数据处理，在建模具有复杂依赖关系的大规模多维时空数据集方面优于现有方法。

ABSTRACT

Large, multi-dimensional spatio-temporal datasets are omnipresent in modern science and engineering. An effective framework for handling such data are Gaussian process deep generative models (GP-DGMs), which employ GP priors over the latent variables of DGMs. Existing approaches for performing inference in GP-DGMs do not support sparse GP approximations based on inducing points, which are essential for the computational efficiency of GPs, nor do they handle missing data -- a natural occurrence in many spatio-temporal datasets -- in a principled manner. We address these shortcomings with the development of the sparse Gaussian process variational autoencoder (SGP-VAE), characterised by the use of partial inference networks for parameterising sparse GP approximations. Leveraging the benefits of amortised variational inference, the SGP-VAE enables inference in multi-output sparse GPs on previously unobserved data with no additional training. The SGP-VAE is evaluated in a variety of experiments where it outperforms alternative approaches including multi-output GPs and structured VAEs.

研究动机与目标

• 解决现有GP-DGM中缺乏对稀疏GP近似和原则性缺失数据处理的支持问题。
• 实现在先前未观测数据上对多输出稀疏高斯过程进行高效、迁移推理。
• 开发一个统一框架，结合深度生成模型与高斯过程的优势，用于大规模时空数据建模。
• 在保持计算可扩展性的前提下，支持多维输出的灵活似然和结构化依赖关系。

提出的方法

• 提出 SGP-VAE，通过诱导点参数化多输出稀疏高斯过程近似，并利用推理网络实现。
• 采用部分推理网络（PointNet、IndexNet 和 FactorNet）仅基于观测输出进行条件化，以处理缺失数据。
• 利用迁移变分推理实现快速、具备泛化能力的推理，无需对未见数据重新训练。
• 在解码器中使用因子化似然，以灵活似然建模复杂多维输出。
• 使用k均值聚类初始化跨潜在维度和任务的共享诱导点位置。
• 采用具有ReLU或tanh激活函数的深度神经网络来参数化编码器、解码器和推理网络。

实验结果

研究问题

• RQ1 稀疏高斯过程近似能否有效集成到变分自编码器中，以扩展至大规模多维时空数据集？
• RQ2 在具有高斯过程先验的深度生成模型中，如何以原则性和可扩展的方式处理缺失数据？
• RQ3 所提出的 SGP-VAE 在真实世界时空数据上是否优于多输出高斯过程和结构化VAE？
• RQ4 SGP-VAE中的迁移推理能否在无需额外训练的情况下泛化到先前未观测的数据？

主要发现

• 在弹跳小球和气象站数据集上，SGP-VAE 在预测性能方面优于基线多输出高斯过程和结构化VAE。
• 在气象站数据集上，即使某些变量缺失率达93.2%，SGP-VAE 的均方根误差（RMSE）和负对数似然（NLL）均低于其他模型。
• 该模型展现出强大的泛化能力，通过迁移推理实现在先前未观测数据上的准确推断。
• 部分推理网络（PointNet、IndexNet、FactorNet）有效处理了缺失数据，其中FactorNet在高缺失率场景下表现尤为稳健。
• 在弹跳小球任务中，SGP-VAE 达到了最先进性能，仅用单一潜在维度即近乎精确恢复了真实轨迹。