[论文解读] Variational Autoencoder with Implicit Optimal Priors

Hiroshi Takahashi, Tomoharu Iwata+3 more|arXiv (Cornell University)|Sep 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 6

一句话总结

本文提出一种具有隐式最优先验的变分自编码器（VAE），通过将聚合后验作为先验分布来改进密度估计。通过将KL散度重写为可解析计算且低维的密度比项之和，该方法应用密度比技巧来估计KL散度，而无需显式建模聚合后验，从而在图像数据集上实现了优于VampPrior等先前方法的SOTA对数似然性能，且在鲁棒性和效率方面均有提升。

ABSTRACT

The variational autoencoder (VAE) is a powerful generative model that can estimate the probability of a data point by using latent variables. In the VAE, the posterior of the latent variable given the data point is regularized by the prior of the latent variable using Kullback Leibler (KL) divergence. Although the standard Gaussian distribution is usually used for the prior, this simple prior incurs over-regularization. As a sophisticated prior, the aggregated posterior has been introduced, which is the expectation of the posterior over the data distribution. This prior is optimal for the VAE in terms of maximizing the training objective function. However, KL divergence with the aggregated posterior cannot be calculated in a closed form, which prevents us from using this optimal prior. With the proposed method, we introduce the density ratio trick to estimate this KL divergence without modeling the aggregated posterior explicitly. Since the density ratio trick does not work well in high dimensions, we rewrite this KL divergence that contains the high-dimensional density ratio into the sum of the analytically calculable term and the low-dimensional density ratio term, to which the density ratio trick is applied. Experiments on various datasets show that the VAE with this implicit optimal prior achieves high density estimation performance.

研究动机与目标

• 解决标准VAE中因使用简单高斯先验而导致的过度正则化问题。
• 实现将聚合后验作为最优先验的使用，尽管其KL散度不可计算，但可最大化VAE训练目标。
• 开发一种方法，在无需显式建模聚合后验的情况下估计编码器与聚合后验之间的KL散度。
• 通过避免先验建模中的超参数敏感性，改进高维数据（如图像）的密度估计性能。
• 通过在低维子空间中利用密度比技巧，实现鲁棒且高效的训练。

提出的方法

• 将编码器与聚合后验之间的KL散度重写为两项之和：一项是编码器与标准高斯先验之间的KL散度（可解析计算），另一项是聚合后验与标准高斯先验之间的KL散度（低维）。
• 应用密度比技巧来估计聚合后验与标准高斯先验之间的低维密度比，从而实现无需显式建模聚合后验的KL散度隐式估计。
• 使用神经网络在低维子空间中估计密度比，避免对完整高维聚合后验进行建模的需要。
• 通过优化ELBO端到端训练VAE，其中KL散度项通过密度比技巧估计，从而在无需闭式计算的情况下使用最优先验。
• 引入两阶段训练策略：首先在潜在表示上预训练密度比估计器，然后联合训练VAE与比值估计器。
• 利用聚合后验是数据分布下编码器的期望这一事实，通过经验平均实现最优先验的一致估计。

实验结果

研究问题

• RQ1 是否可以在不显式建模的情况下将聚合后验用作VAE中的先验，以改进密度估计？
• RQ2 当KL散度缺乏闭式表达时，是否能够估计编码器与聚合后验之间的KL散度？
• RQ3 通过将KL散度分解为低维分量，能否在高维潜在空间中有效应用密度比技巧？
• RQ4 与VampPrior等显式先验模型相比，所提出的隐式最优先验在对数似然和训练稳定性方面表现如何？
• RQ5 与现有先验建模方法相比，该方法是否降低了超参数敏感性？

主要发现

• 所提出的具有隐式最优先验的VAE在四个图像数据集上实现了SOTA的测试对数似然性能，优于标准VAE和VampPrior。
• 在MNIST数据集上，该方法实现了-89.66纳特的测试对数似然，优于VampPrior的-90.12纳特。
• 在MNIST上的训练速度比VampPrior快2.83倍，表明计算成本显著降低。
• 该方法对初始条件表现出鲁棒性，各次运行间的性能标准差较低，而VampPrior则对伪输入初始化表现出高度敏感性。
• VampPrior中的混合成分数K被发现是敏感的超参数，不同取值下性能差异显著，而所提方法所需的超参数更少且更稳定。
• 密度比技巧成功应用于低维分量，即使在全维空间中估计失败的高维情况下，也能实现准确的KL散度估计。