[论文解读] tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder

Alex Campbell, Píetro Lió|arXiv (Cornell University)|Jun 8, 2020

Gaussian Processes and Bayesian Inference参考文献 27被引用 6

一句话总结

本文提出 tvGP-VAE，一种变分自编码器，用张量变差高斯过程替代标准的单变量高斯先验，以显式建模多维潜在空间中的相关性结构。通过在张量模态上使用核函数，tvGP-VAE 在时空图像数据上提升了重建性能，其中空间相关性建模在所测试配置中表现最佳。

ABSTRACT

Variational autoencoders (VAEs) are a powerful class of deep generative latent variable model for unsupervised representation learning on high-dimensional data. To ensure computational tractability, VAEs are often implemented with a univariate standard Gaussian prior and a mean-field Gaussian variational posterior distribution. This results in a vector-valued latent variables that are agnostic to the original data structure which might be highly correlated across and within multiple dimensions. We propose a tensor-variate extension to the VAE framework, the tensor-variate Gaussian process prior variational autoencoder (tvGP-VAE), which replaces the standard univariate Gaussian prior and posterior distributions with tensor-variate Gaussian processes. The tvGP-VAE is able to explicitly model correlation structures via the use of kernel functions over the dimensions of tensor-valued latent variables. Using spatiotemporally correlated image time series as an example, we show that the choice of which correlation structures to explicitly represent in the latent space has a significant impact on model performance in terms of reconstruction.

研究动机与目标

• 解决标准 VAE 在建模高维张量数据多维结构化相关性方面的局限性。
• 通过在潜在空间中显式编码空间、时间或时空相关性结构，改进无监督表征学习。
• 利用可分离的克罗内克核函数，开发一种计算上可行且内存高效的深度生成模型，用于张量变差高斯过程。
• 探究张量值潜在变量是否在捕捉多维数据中复杂相关性模式方面优于向量值潜在变量。
• 评估不同相关性结构假设（空间、时间、时空）对 VAE 重建质量的影响。

提出的方法

• 用张量值潜在变量上的张量变差高斯过程，替代 VAE 中的标准单变量高斯先验和均场高斯后验。
• 使用可分离的克罗内克核函数，对潜在空间中多个模态（如空间行、列、时间）的相关性进行建模。
• 采用摊销的随机变分推断进行端到端训练，通过张量积结构保持计算效率。
• 在编码器中应用二维空间卷积，随后使用一维时间卷积，从图像时间序列中提取分层特征。
• 在解码器中使用转置卷积，从具有模态特定相关性结构的潜在表示中重建输入数据。
• 调整核函数长度尺度，并在全连接层中使用批量归一化和 ReLU 激活函数，以实现稳定训练。

实验结果

研究问题

• RQ1 在潜在空间中显式建模相关性结构是否能提升 VAE 的重建性能？
• RQ2 不同相关性结构（空间、时间、时空）对图像时间序列数据重建质量有何影响？
• RQ3 张量变差高斯过程能否在保持计算可及性的同时，高效集成到 VAE 框架中？
• RQ4 核函数选择和长度尺度参数的选择如何影响模型性能？
• RQ5 tvGP-VAE 是否通过更好地捕捉输入数据结构，缓解了后验坍缩问题？

主要发现

• 采用显式空间相关性建模的 tvGP-VAE 在 Sprites 测试集上实现了最低的重建损失 90,578 ± 6.2，优于标准 VAE 和其他 tvGP-VAE 变体。
• 仅采用显式时间相关性建模的模型实现了 90,587 ± 11.3 的重建损失，略低于仅空间相关性模型，但仍优于标准 VAE。
• 尽管具备建模所有相关性的能力，时空 tvGP-VAE 的表现最差，重建损失为 90,616 ± 3.8，表明可能存在过拟合或超参数调优不佳。
• 视觉重建结果表明，空间 tvGP-VAE 捕获了最多细节，而时空变体在运动区域表现出更高的不确定性。
• 时空模型中核函数长度尺度参数带来的额外方差，为每个潜在维度引入了三个额外的超参数，增加了模型复杂性和调优难度。
• 结果表明，仅建模最相关的相关性结构（如空间）可获得优于同时建模所有维度的性能。