[论文解读] Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains

Francisco J. R. Ruiz, Michalis K. Titsias+2 more|arXiv (Cornell University)|Jul 27, 2021

Generative Adversarial Networks and Image Synthesis被引用 3

一句话总结

本文提出了一种用于训练变分自编码器（VAEs）的无偏梯度估计方法，通过在扩展的潜在空间中使用重要性采样并构建耦合马尔可夫链来实现。通过在该空间上构造耦合过程，该方法能够实现有限方差的无偏梯度估计器，用于最大似然训练，从而在预测性能上优于标准VAE。

ABSTRACT

The variational auto-encoder (VAE) is a deep latent variable model that has two neural networks in an autoencoder-like architecture; one of them parameterizes the model's likelihood. Fitting its parameters via maximum likelihood (ML) is challenging since the computation of the marginal likelihood involves an intractable integral over the latent space; thus the VAE is trained instead by maximizing a variational lower bound. Here, we develop a ML training scheme for VAEs by introducing unbiased estimators of the log-likelihood gradient. We obtain the estimators by augmenting the latent space with a set of importance samples, similarly to the importance weighted auto-encoder (IWAE), and then constructing a Markov chain Monte Carlo coupling procedure on this augmented space. We provide the conditions under which the estimators can be computed in finite time and with finite variance. We show experimentally that VAEs fitted with unbiased estimators exhibit better predictive performance.

研究动机与目标

• 解决在最大似然训练过程中VAE的不可计算边缘似然问题。
• 为VAE开发避免变分下界优化固有偏差的无偏梯度估计器。
• 通过在扩展潜在空间上的新颖耦合机制，实现有限方差且可计算的梯度估计器。
• 通过使用无偏梯度进行最大似然训练，提升VAE的预测性能。
• 建立所提估计器在有限时间内以有限方差可计算的理论条件。

提出的方法

• 通过类似IWAE的方式，在潜在空间中引入多个重要性样本，以形成扩展的状态空间。
• 在扩展的潜在空间上构建马尔可夫链蒙特卡洛（MCMC）耦合过程，以生成依赖样本。
• 利用耦合样本通过路径导数法推导对数似然梯度的无偏估计器。
• 通过满足马尔可夫链的特定耦合与遍历性条件，确保方差有限且计算时间有限。
• 将无偏梯度估计器集成到VAE的最大似然训练目标中。
• 利用耦合结构在保持无偏性的同时降低梯度估计的方差。

实验结果

研究问题

• RQ1 能否在不依赖变分下界的情况下，为VAE构建无偏梯度估计器？
• RQ2 在何种条件下，无偏梯度估计可在有限时间内以有限方差完成？
• RQ3 与标准VAE相比，使用扩展潜在空间上的耦合马尔可夫链是否能提升VAE训练性能？
• RQ4 与IWAE相比，该方法在预测准确性和训练稳定性方面表现如何？
• RQ5 该耦合机制能否有效降低梯度估计的方差，同时保持无偏性？

主要发现

• 所提方法为VAE生成了无偏梯度估计器，使得无需变分近似偏差即可实现直接的最大似然训练。
• 在满足马尔可夫链的特定耦合与遍历性条件时，可实现有限方差与有限计算时间。
• 该方法通过使用无偏梯度进行最大似然训练，使VAE在下游任务中表现出更优的预测性能。
• 实验结果表明，使用所提无偏估计器训练的VAE在预测准确性上优于标准VAE。
• 在扩展潜在空间上的耦合过程能有效降低梯度方差，同时保持无偏性，从而提升训练稳定性。
• 该方法通过基于MCMC的耦合机制，将IWAE框架推广为无偏学习方法，而非仅依赖重要性加权。