[论文解读] Variational Auto-Decoder: A Method for Neural Generative Modeling from Incomplete Data

Amir Zadeh, Yao-Chong Lim+2 more|arXiv (Cornell University)|Mar 3, 2019

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出变分自编码解码器（VAD），一种新颖的变分贝叶斯方法，用于从不完整数据中进行鲁棒生成建模，通过基于梯度的推理优化后验参数，绕过对易变输入的直接条件依赖。VAD在高缺失率和分布偏移下均实现了优于VAE和GAN基线的重建似然，且随着缺失程度加剧，性能差距进一步扩大。

ABSTRACT

Learning a generative model from partial data (data with missingness) is a challenging area of machine learning research. We study a specific implementation of the Auto-Encoding Variational Bayes (AEVB) algorithm, named in this paper as a Variational Auto-Decoder (VAD). VAD is a generic framework which uses Variational Bayes and Markov Chain Monte Carlo (MCMC) methods to learn a generative model from partial data. The main distinction between VAD and Variational Auto-Encoder (VAE) is the encoder component, as VAD does not have one. Using a proposed efficient inference method from a multivariate Gaussian approximate posterior, VAD models allow inference to be performed via simple gradient ascent rather than MCMC sampling from a probabilistic decoder. This technique reduces the inference computational cost, allows for using more complex optimization techniques during latent space inference (which are shown to be crucial due to a high degree of freedom in the VAD latent space), and keeps the framework simple to implement. Through extensive experiments over several datasets and different missing ratios, we show that encoders cannot efficiently marginalize the input volatility caused by imputed missing values. We study multimodal datasets in this paper, which is a particular area of impact for VAD models.

研究动机与目标

• 解决在输入数据因缺失值而存在不完整和易变时，变分贝叶斯中近似后验推断的挑战。
• 克服标准VAE和GAN因依赖插补或次优输入而导致在高缺失率下性能下降的局限性。
• 开发一种方法，在训练和测试数据表现出不匹配的缺失模式时，仍能有效最大化证据下界（ELBo）。
• 确保对缺失模式分布偏移的鲁棒性，例如测试时缺失率突然变化。
• 提供一种可扩展的、基于梯度的替代方案，替代基于参数化编码器的推理，避免依赖基于模型的插补。

提出的方法

• VAD通过在变分贝叶斯框架中使用基于梯度的优化，直接优化已知后验分布的参数，从而在不使用参数化编码器的情况下构建后验近似。
• 该方法将从潜在空间到输入空间的映射视为主要可学习组件，消除了对输入条件化推理网络的需求。
• 后验参数通过在ELBo上进行梯度上升来更新，使用随机反向传播处理训练过程中的不完整数据。
• 该方法利用可微的重建目标，即使输入部分观测，也能在完整真实数据上计算似然。
• 缺失性通过二值掩码 $\alpha \in \{0,1\}^d$ 建模，其中0表示缺失，1表示观测，模型学习从 $x = \alpha \odot \hat{x}$ 重建 $\hat{x}$。
• 该框架使用随机优化端到端训练，以ELBo作为目标函数，推理通过从优化后的后验分布中采样完成。

实验结果

研究问题

• RQ1 变分推理框架是否能在不直接依赖不完整输入数据的条件下，实现鲁棒的后验近似？
• RQ2 在缺失数据率不断增加的情况下，VAD与VAE和基于GAN的方法相比表现如何？
• RQ3 当训练和测试时的缺失模式不匹配时，VAD是否仍能保持高重建似然？
• RQ4 VAD、VAE和GAN模型对缺失性分布偏移（如推理时缺失率突然变化）的敏感度如何？
• RQ5 在输入易变的情况下，后验参数的基于梯度的优化是否能优于基于参数化编码器的推理？

主要发现

• VAD在重建似然上显著优于VAE和GAN基线，且随着缺失率增加，性能差距进一步扩大，尤其在极端缺失情况下（如 r = 0.9）。
• 与VAE和GAN不同，VAD在推理过程中对不同缺失率保持一致的性能，即使测试时的缺失率与训练时不一致。
• 在测试时缺失场景下（在完整数据上训练，不完整数据上测试），VAD表现出极小的性能下降，而VAE和GAIN在高缺失率下出现显著退化。
• 在训练时缺失场景下（在不完整数据上训练，完整数据上测试），VAD保持鲁棒且稳定，而VAE和GAN的性能随训练缺失率增加而显著下降。
• 在Fashion-MNIST上的敏感性分析表明，VAD在训练和测试缺失率的各种组合下均保持高似然，而VAE和GAN的性能在对角线以外（即当缺失率不同时）迅速崩溃。
• 在Fashion-MNIST图像修复任务中的可视化比较表明，VAD在块状缺失模式和高缺失率下生成的重建结果比VAE和GAN更准确、更一致。