[论文解读] Scalable Gaussian Process Variational Autoencoders

Jazbec, Metod, Matthew Ashman+4 more|arXiv (Cornell University)|Oct 26, 2020

Gaussian Processes and Bayesian Inference参考文献 57被引用 16

一句话总结

本文提出一种基于新型混合稀疏推断方法的可扩展高斯过程变分自编码器（GP-VAE），该方法基于诱导点，实现了高效的小批量训练与端到端优化。该方法将计算复杂度从 O(N³) 降低至 O(bm² + m³)，其中 b 为批量大小，m 为诱导点数量，同时保持高精度，并支持任意核函数选择与数据类型，无需架构修改。

ABSTRACT

Conventional variational autoencoders fail in modeling correlations between data points due to their use of factorized priors. Amortized Gaussian process inference through GP-VAEs has led to significant improvements in this regard, but is still inhibited by the intrinsic complexity of exact GP inference. We improve the scalability of these methods through principled sparse inference approaches. We propose a new scalable GP-VAE model that outperforms existing approaches in terms of runtime and memory footprint, is easy to implement, and allows for joint end-to-end optimization of all components.

研究动机与目标

• 解决现有 GP-VAE 模型依赖精确 GP 推断所导致的可扩展性限制，其计算复杂度为 O(N³)。
• 在 GP-VAE 中实现小批量训练与摊销推断，而现有稀疏 GP 方法因内存或摊销约束而无法支持。
• 开发一种通用的、核无关的框架，支持所有模型组件（包括 GP 超参数与 VAE 参数）的联合端到端优化。
• 提供理论基础坚实、易于实现的解决方案，在显著降低内存与运行时间成本的同时保持高性能。

提出的方法

• 提出一种混合稀疏 GP 近似方法，结合对诱导点的变分推断与摊销推断，同时支持小批量处理与端到端训练。
• 通过使用诱导点重新定义潜在函数上的变分后验，将 Hensman 等人（2013）提出的随机变分推断框架适配至 GP-VAE。
• 推导出边际似然的下界，允许联合优化 VAE 编码器、解码器与 GP 先验，采用对 GP 边际似然的可微分近似。
• 采用结构化的变分后验分布对潜在函数进行建模，由 VAE 的推理网络参数化，从而实现在所有数据点上的摊销推断。
• 使用重参数化技巧，使通过 GP 先验的反向传播成为可能，从而支持对所有模型组件的基于梯度的优化。
• 提出一种新颖的 ELBO 公式，将 GP 先验与 VAE 目标函数整合，实现 GP 超参数与 VAE 参数的联合优化。

实验结果

研究问题

• RQ1 能否使稀疏 GP 近似兼容 GP-VAE 模型中的小批量处理与摊销推断？
• RQ2 能否在不牺牲模型表达能力或无需针对特定核函数设计的前提下，将 GP-VAE 的计算复杂度从 O(N³) 降低至 O(bm² + m³)？
• RQ3 能否构建一个通用的、核无关的 GP-VAE 框架，支持所有组件（包括 GP 超参数）的联合端到端优化？
• RQ4 与依赖精确推断或专用核函数的现有 GP-VAE 模型相比，所提方法在性能与效率方面表现如何？

主要发现

• 所提出的 GP-VAE 实现了计算复杂度从 O(N³) 到 O(bm² + m³) 的显著降低，支持在大规模数据集上的可扩展训练。
• 该模型在多个基准测试中保持了高性能，其运行时间与内存效率均优于现有 GP-VAE 方法。
• 该方法支持所有组件（包括 GP 超参数）的联合端到端优化，而以往方法通常固定 GP 参数或需额外优化步骤。
• 实验结果表明，即使在使用较多诱导点时，模型仍具有良好的泛化能力，尽管在高维空间中近似偏差略有增加。
• 该模型易于实现，且无需对训练过程进行特殊修改，对实践者友好。