[论文解读] On the Necessity and Effectiveness of Learning the Prior of Variational Auto-Encoder

Haowen Xu, Wenxiao Chen+4 more|arXiv (Cornell University)|May 31, 2019

Neural Networks and Applications参考文献 34被引用 9

一句话总结

本文证明了当聚合后验分布无法匹配单位高斯分布时，学习先验在变分自编码器（VAE）中的必要性与有效性，提出了一种基于Real NVP的可学习先验，显著降低了重建损失并提升了测试负对数似然（NLL）。令人惊讶的是，仅使用一个潜在变量并结合可学习先验，其NLL表现已可媲美深层层次化VAE，优于使用标准先验的复杂架构。

ABSTRACT

Using powerful posterior distributions is a popular approach to achieving better variational inference. However, recent works showed that the aggregated posterior may fail to match unit Gaussian prior, thus learning the prior becomes an alternative way to improve the lower-bound. In this paper, for the first time in the literature, we prove the necessity and effectiveness of learning the prior when aggregated posterior does not match unit Gaussian prior, analyze why this situation may happen, and propose a hypothesis that learning the prior may improve reconstruction loss, all of which are supported by our extensive experiment results. We show that using learned Real NVP prior and just one latent variable in VAE, we can achieve test NLL comparable to very deep state-of-the-art hierarchical VAE, outperforming many previous works with complex hierarchical VAE architectures.

研究动机与目标

• 正式证明当聚合后验分布不匹配单位高斯先验时，学习先验的必要性与有效性。
• 分析聚合后验为何无法匹配单位高斯先验，识别出分布不匹配是根本原因。
• 证明学习先验可降低重建损失并提升采样质量，尤其在低后验概率样本上表现更优。
• 展示仅使用一个潜在变量和可学习Real NVP先验的简单VAE，其性能可与深层层次化VAE相媲美或超越。
• 验证可学习先验可避免对低质量插值和低后验样本分配高似然值。

提出的方法

• 提出基于Real NVP的归一化流以学习先验分布，实现灵活且非高斯的先验。
• 引入端到端联合训练方案，使先验与编码器、解码器同步优化，提升ELBO优化效果。
• 采用包含可学习先验的蒙特卡洛估计器来计算ELBO，支持基于梯度的优化。
• 采用事后先验适应方法，无需重新训练即可评估可学习先验对现有模型的影响。
• 应用先前工作的低后验样本检测算法，评估可学习先验是否对问题潜在代码分配更低的似然值。
• 在四个二值化数据集上，采用四种不同架构进行广泛的消融实验，验证方法的泛化能力。

实验结果

研究问题

• RQ1 当聚合后验分布不匹配单位高斯先验时，学习先验是否必要且有效？
• RQ2 为何聚合后验无法匹配单位高斯先验？其分布不匹配的根本原因是什么？
• RQ3 学习先验是否可降低重建损失并提升采样质量，尤其在低后验样本上？
• RQ4 仅使用一个潜在变量和可学习Real NVP先验的简单VAE，其性能是否可与深层层次化VAE相媲美？
• RQ5 可学习先验是否避免对低质量插值和低后验样本分配高似然值？

主要发现

• 仅使用一个潜在变量的Real NVP先验，在二值化MNIST、EMNIST和Fashion-MNIST数据集上，测试负对数似然（NLL）表现与当前最先进水平的深层层次化VAE相当。
• 可学习先延显著降低了对低后验样本的似然值，避免对问题潜在代码分配过高得分。
• 采用Real NVP先延的联合训练VAE在所有数据集和架构上，均优于标准VAE和使用Real NVP后验的VAE。
• 事后训练的先延使低后验样本的对数先验似然值相比单位高斯先延降低最多达10倍，表明泛化能力更强。
• 该方法避免对潜在空间中低质量插值分配高似然值，从而提升了采样质量和鲁棒性。
• 训练时间随流深度增加，但在K=50后趋于稳定，表明K=20是在性能与效率之间合理的折中选择。