[论文解读] Variational Autoencoder with Arbitrary Conditioning

О. А. Иванов, Michael Figurnov+1 more|arXiv (Cornell University)|Jun 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 67

一句话总结

本论文提出了 VAEAC，一种条件化任意子集观测特征并在一次性采样出剩余特征的变分自编码器，适用于实值和分类数据，能够实现缺失数据插补与图像修复。

ABSTRACT

We propose a single neural probabilistic model based on variational autoencoder that can be conditioned on an arbitrary subset of observed features and then sample the remaining features in "one shot". The features may be both real-valued and categorical. Training of the model is performed by stochastic variational Bayes. The experimental evaluation on synthetic data, as well as feature imputation and image inpainting problems, shows the effectiveness of the proposed approach and diversity of the generated samples.

研究动机与目标

• 将 VAE 框架推广到学习任意条件掩码 b 的条件分布 p(x_b | x_{1-b}, b) 的全集合。
• 在单一概率模型中处理具有实值和分类特征的数据集。
• 实现给定观测值的一次性采样未观测特征的能力，包括缺失数据场景。
• 在特征插补和图像修复任务中展示有效性，给出多样且真实的样本。

提出的方法

• 定义带先验网络 p_psi(z | x_{1-b}, b) 和生成网络 p_theta(x_b | z, x_{1-b}, b) 的生成过程。
• 建模 p_{psi,theta}(x_b | x_{1-b}, b) = E_{z ~ p_psi(z | x_{1-b}, b)}[ p_theta(x_b | z, x_{1-b}, b) ]。
• 使用具有神经网络参数化先验 p_psi(z | x_{1-b}, b) 的高斯潜变量 z。
• 对 x_b 的实值分量和分类分量（通过 logits 表示）在给定 z、x_{1-b}、b 的条件下进行参数化。
• 推导并优化一个类似于 VAE 的变分下界 L_VAEAC，使用分解高斯分布 q_phi(z | x, b) 及重参数化。
• 用一个正态-伽玛先验对先验参数进行正则化，以防止数值发散。
• 通过对 p(b) 条件化为 p(b | x) 并在重建项中对缺失特征进行边缘化，将方法扩展到缺失特征设置。

实验结果

研究问题

• RQ1 模型是否能学习任意条件掩码 b 的所有条件分布 p(x_b | x_{1-b}, b)？
• RQ2 在多模态场景下，VAEAC 对真实条件分布的近似有多准确？
• RQ3 相较于现有方法，VAEAC 在缺失特征插补和图像修复方面是否有效？
• RQ4 与 Universal Marginalizer 和基于 GAN 的方法相比，在质量与计算效率方面，VAEAC 有何差异？

主要发现

• VAEAC 在缺失特征插补方面的表现可与 MICE、MissForest 和 GAIN 等方法相抗衡，在若干 UCI 数据集上表现良好。
• 该模型能够在 MNIST、Omniglot 和 CelebA 上生成多样且真实的图像修复，PSNR 在多种掩码下达到与某些最先进方法相当甚至优于。
• VAEAC 是一种一次性方法，直接从条件分布进行采样，在测试阶段比某些自回归或基于优化的方法更快，同时保持样本多样性。
• 与 Universal Marginalizer 相比，在存在众多局部极值或实值数据的情况下，VAEAC 能更好地捕获条件联合分布，而 UM 在近似边缘分布方面存在困难。
• 实验表明 VAEAC 能有效学习联合数据分布，并在多样化任务中产生有用的插补与修复结果。