[论文解读] Variational Auto-Decoder

Amir Zadeh, Yao Chong Lim+2 more|arXiv (Cornell University)|Mar 3, 2019

Topic Modeling参考文献 19被引用 9

一句话总结

本文提出了变分自编码解码器（VAD），一种生成建模框架，通过在多变量正态近似后验上使用基于梯度的推断，绕过了对编码器的需求。通过用高效的梯度上升替代MCMC采样，VAD降低了计算成本，实现了高维潜在空间中的复杂优化，并在处理缺失值的多模态数据时优于变分自编码器（VAE）。

ABSTRACT

Learning a generative model from partial data (data with missingness) is a challenging area of machine learning research. We study a specific implementation of the Auto-Encoding Variational Bayes (AEVB) algorithm, named in this paper as a Variational Auto-Decoder (VAD). VAD is a generic framework which uses Variational Bayes and Markov Chain Monte Carlo (MCMC) methods to learn a generative model from partial data. The main distinction between VAD and Variational Auto-Encoder (VAE) is the encoder component, as VAD does not have one. Using a proposed efficient inference method from a multivariate Gaussian approximate posterior, VAD models allow inference to be performed via simple gradient ascent rather than MCMC sampling from a probabilistic decoder. This technique reduces the inference computational cost, allows for using more complex optimization techniques during latent space inference (which are shown to be crucial due to a high degree of freedom in the VAD latent space), and keeps the framework simple to implement. Through extensive experiments over several datasets and different missing ratios, we show that encoders cannot efficiently marginalize the input volatility caused by imputed missing values. We study multimodal datasets in this paper, which is a particular area of impact for VAD models.

研究动机与目标

• 解决从存在缺失值的数据中学习生成模型的挑战。
• 开发一种框架，避免传统编码器在处理由插补缺失值引起的输入波动时的局限性。
• 通过用梯度上升替代MCMC采样，降低潜在空间建模中的推断成本。
• 改善在VAE因编码器引入的近似误差而表现不佳的多模态数据集上的性能。
• 为部分数据生成提供一种简单、可扩展且高效的VAE替代方案。

提出的方法

• VAD采用变分贝叶斯框架，使用多变量正态近似后验进行潜在变量推断。
• 它用梯度上升替代MCMC采样以优化潜在变量，显著降低计算成本。
• 该模型使用概率解码器而无需编码器，消除了对输入依赖的推理网络的需求。
• 通过优化技术直接在潜在空间中进行推断，利用潜在表示中的高自由度。
• 该框架设计简单，易于实现，同时支持复杂的优化策略。
• 该方法在多种缺失数据比例不同的数据集上进行评估，以检验其鲁棒性和可扩展性。

实验结果

研究问题

• RQ1 在处理部分数据时，是否可以有效训练无需编码器的生成模型？
• RQ2 在潜在变量建模中，基于梯度的推断与MCMC采样在效率和性能方面有何比较？
• RQ3 传统VAE编码器在处理由插补缺失值引起的输入波动方面失败的程度如何？
• RQ4 与标准VAE相比，VAD在多模态数据集上的表现如何？
• RQ5 在高维、存在缺失数据的情境下，缺乏编码器是否能带来更好的生成建模性能？

主要发现

• 与标准VAE相比，VAD在存在缺失值的多模态数据集上表现出更优的性能，尤其得益于减少了编码器引入的偏差。
• 与MCMC采样相比，使用梯度上升显著降低了推断时间和计算成本，同时保持了高质量的潜在表示。
• 研究表明，编码器在对插补缺失值引起的输入波动进行边缘化时效率低下，这会降低生成质量。
• 该框架的简洁性以及无编码器的设计使其更易于实现，并可轻松扩展至复杂优化技术。
• 在多种数据集和缺失比例下的实验结果证实了VAD在真实世界部分数据场景下的鲁棒性和可扩展性。
• 该模型表明，通过梯度上升直接优化潜在空间可优于基于MCMC的推断，无论在速度还是生成保真度方面。