[论文解读] Nonparametric Inference for Auto-Encoding Variational Bayes

Erik Bodin, Iman Malik+2 more|arXiv (Cornell University)|Dec 18, 2017

Gaussian Processes and Bayesian Inference参考文献 8被引用 9

一句话总结

本文提出了一种非参数变分自编码器（np-VAE），通过引入一个共享的、低维潜在空间 $X$ 来建模高容量 $Z$-空间表示之间的依赖关系，从而将生成能力与潜在空间的可解释性解耦。通过使用基于高斯过程的预测后验分布，利用 $X$ 在 $Z$ 中施加结构，该方法在不损失可解释性的前提下实现了高保真重建和有意义的插值，实现了在 2D 可解释潜在空间下的最先进生成质量。

ABSTRACT

We would like to learn latent representations that are low-dimensional and highly interpretable. A model that has these characteristics is the Gaussian Process Latent Variable Model. The benefits and negative of the GP-LVM are complementary to the Variational Autoencoder, the former provides interpretable low-dimensional latent representations while the latter is able to handle large amounts of data and can use non-Gaussian likelihoods. Our inspiration for this paper is to marry these two approaches and reap the benefits of both. In order to do so we will introduce a novel approximate inference scheme inspired by the GP-LVM and the VAE. We show experimentally that the approximation allows the capacity of the generative bottle-neck (Z) of the VAE to be arbitrarily large without losing a highly interpretable representation, allowing reconstruction quality to be unlimited by Z at the same time as a low-dimensional space can be used to perform ancestral sampling from as well as a means to reason about the embedded data.

研究动机与目标

• 解决标准 VAE 中重建质量与解耦、可解释表示之间的权衡问题。
• 克服平均场变分推断的局限性，后者强制潜在变量之间相互独立，阻碍了数据的有意义组织。
• 在保持低维、可解释潜在空间（$X$）以供可视化和祖先采样之余，实现通过大 $Z$ 空间进行的高容量生成建模。
• 开发一种高效的推理方案，利用摊销推理和矩匹配技术，实现对大规模数据集的可扩展性。
• 证明通过将 $Z$（容量）和 $X$（结构）在潜在空间中的角色分离，有意义的插值与高保真生成可以共存。

提出的方法

• 引入一个具有两个潜在空间的层次化潜在变量模型：$Z$ 用于高容量生成，$X$ 用于建模 $Z$-变量之间的依赖关系。
• 在 $X$ 上使用高斯过程先验，以定义条件分布 $p(z_i | X, z_{\neg i})$，从而实现对潜在变量依赖关系的非参数建模。
• 采用变分近似方法，其中后验 $q(Z|Y)$ 被因子化并通过对观测数据进行确定性推理网络（编码器）进行条件化。
• 推导出一种修改后的证据下界（ELBO），其中包含变分后验 $q_g(Z|Y)$ 与基于 GP 的预测后验 $p_s(Z|X)$ 之间的 KL 散度，以促进结构化表示。
• 在 $q_g(Z|Y)$ 与预测后验 $p_s(Z|X)$ 之间应用矩匹配，以实现无需完整后验推断的可处理优化。
• 使用摊销推理：$X$ 和 $Z$ 均通过独立的神经网络（编码器）从数据中预测，其中 $X$ 充当 $Z$ 的共享低维瓶颈。

实验结果

研究问题

• RQ1 我们能否在 VAE 中将高容量生成建模与对低维、可解释潜在空间的需求解耦？
• RQ2 引入一个共享潜在空间 $X$ 来建模 $Z$-变量之间的依赖关系，是否能同时提升重建质量与有意义的插值效果？
• RQ3 我们能否在保持大 $Z$-空间的同时，仍能在低维 $X$-空间中实现祖先采样和可视化？
• RQ4 与标准 VAE 相比，所提出的非参数推理方案在解耦性和样本质量方面表现如何？
• RQ5 当 $Z$ 的维度较高且通常难以可视化时，模型的性能是否对 $Z$-维度的变化具有鲁棒性？

主要发现

• 该非参数 VAE 在使用 500 维 $Z$ 空间的同时，仍保持 2D $X$ 空间，实现了高保真重建，并支持直观的可视化与祖先采样。
• 在 $X$ 空间中的插值相比标准 VAE 在 $Z$ 空间中的插值，能产生更合理、可信的 MNIST 数字中间状态。
• $X$ 空间在不同 $Z$-维度（从 2 到 1000）下均保持可解释性和稳定性，表现出强鲁棒性与泛化能力。
• 即使 $Z$ 维度较大，模型仍保持高质量的重建，避免了标准 VAE 因容量过高而忽略潜在空间的倾向。
• 该方法成功地将 $Z$（生成能力）与 $X$（结构可解释性）的角色解耦，实现了高质量生成与有意义的潜在空间分析的并存。