[论文解读] On Disentanglement in Gaussian Process Variational Autoencoders

Simon Bing, Vincent Fortuin+1 more|arXiv (Cornell University)|Feb 10, 2021

Gaussian Processes and Bayesian Inference参考文献 42被引用 4

一句话总结

本文提出解耦高斯过程变分自编码器（DGP-VAE），利用具有可学习长度尺度的高斯过程先验来建模时间序列数据中的时间依赖性，从而实现解耦、平滑且可解释的潜在表征。该方法在基准解耦任务上优于最先进模型，并在真实世界医疗时间序列数据上实现了更优的解耦性能与下游分类表现。

ABSTRACT

Complex multivariate time series arise in many fields, ranging from computer vision to robotics or medicine. Often we are interested in the independent underlying factors that give rise to the high-dimensional data we are observing. While many models have been introduced to learn such disentangled representations, only few attempt to explicitly exploit the structure of sequential data. We investigate the disentanglement properties of Gaussian process variational autoencoders, a class of models recently introduced that have been successful in different tasks on time series data. Our model exploits the temporal structure of the data by modeling each latent channel with a GP prior and employing a structured variational distribution that can capture dependencies in time. We demonstrate the competitiveness of our approach against state-of-the-art unsupervised and weakly-supervised disentanglement methods on a benchmark task. Moreover, we provide evidence that we can learn meaningful disentangled representations on real-world medical time series data.

研究动机与目标

• 探究高斯过程变分自编码器（GP-VAE）是否能够从序列数据中学习解耦表征。
• 通过为每个潜在维度建模具有独立长度尺度的高斯过程先验，以促进因子间独立性，从而提升时间序列中的解耦性。
• 在标准基准数据集和真实世界医疗时间序列数据上评估模型性能。
• 证明解耦表征可提升下游预测性能，例如在重症监护中预测死亡率。

提出的方法

• DGP-VAE 通过为每个潜在维度应用独立的高斯过程先验（并具有独立的长度尺度）扩展了 GP-VAE 框架，以促进解耦。
• 采用结构化变分推断方案以捕捉潜在空间中的时间依赖性，实现精确的后验近似。
• 模型采用因子化变分后验，保持时间连贯性的同时允许对每个潜在因子进行独立控制。
• 通过优化高斯过程长度尺度中的低交叉结构，鼓励潜在维度之间的独立性，从而促进解耦。
• 使用重参数化梯度的随机梯度变分贝叶斯（SGVB）方法进行端到端训练。
• 通过解耦度量（DCI）和真实医疗数据上的下游分类任务评估学习到的潜在表征。

实验结果

研究问题

• RQ1 具有结构化先验的 GP-VAE 是否能够从序列时间序列数据中学习解耦表征？
• RQ2 DGP-VAE 在标准基准上与最先进无监督和弱监督解耦模型相比表现如何？
• RQ3 DGP-VAE 在真实世界医疗时间序列数据上是否学习到比现有模型更合理、更具可解释性的解耦表征？
• RQ4 解耦表征在多大程度上提升了下游预测性能，例如在重症监护中预测死亡率？

主要发现

• 在 HiRID 医疗时间序列数据集上，DGP-VAE 的解耦度分为 0.325 ± 0.013，显著优于 Ada-GVAE 基线模型（0.133 ± 0.005）。
• 在 HiRID 上，DGP-VAE 的完整度分为 0.358 ± 0.013，高于 Ada-GVAE 的 0.185 ± 0.007，表明潜在因子与潜在临床概念的对齐性更优。
• 在死亡率预测任务中，DGP-VAE 的 AUROC 为 0.769 ± 0.010，优于 Ada-GVAE 的 0.684 ± 0.019，证明其下游实用性更强。
• 定性分析表明，DGP-VAE 成功将相关临床概念（如心血管、肺功能）聚类到单一潜在维度中，同时将无关概念分离。
• 该模型生成了更平滑、去噪的潜在时间序列，比原始观测值或非高斯过程基线模型的表征更具可解释性。
• 结果表明，具有独立长度尺度的高斯过程先验比以往的弱监督方法更契合真实世界时间序列数据的结构。