[论文解读] Variational inference for Monte Carlo objectives

Andriy Mnih, Danilo Jimenez Rezende|arXiv (Cornell University)|Feb 22, 2016

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 81

一句话总结

本文提出了VIMCO，这是首个用于多样本变分推断目标的无偏梯度估计器，通过利用每个样本的独立学习信号来降低方差，且无需额外参数。它使得使用更紧致的蒙特卡罗目标训练具有离散潜在变量的模型成为可能，其性能优于NVIL，并在实践中与有偏估计器相当，同时支持复杂模型的端到端训练。

ABSTRACT

Recent progress in deep latent variable models has largely been driven by the development of flexible and scalable variational inference methods. Variational training of this type involves maximizing a lower bound on the log-likelihood, using samples from the variational posterior to compute the required gradients. Recently, Burda et al. (2016) have derived a tighter lower bound using a multi-sample importance sampling estimate of the likelihood and showed that optimizing it yields models that use more of their capacity and achieve higher likelihoods. This development showed the importance of such multi-sample objectives and explained the success of several related approaches. We extend the multi-sample approach to discrete latent variables and analyze the difficulty encountered when estimating the gradients involved. We then develop the first unbiased gradient estimator designed for importance-sampled objectives and evaluate it at training generative and structured output prediction models. The resulting estimator, which is based on low-variance per-sample learning signals, is both simpler and more effective than the NVIL estimator proposed for the single-sample variational objective, and is competitive with the currently used biased estimators.

研究动机与目标

• 解决在使用多样本目标训练具有离散潜在变量的模型时，梯度估计方差过高的问题。
• 开发一种无偏梯度估计器，避免像NVIL那样依赖学习基线，以提升样本效率。
• 通过更紧致的多样本变分界，实现生成模型和结构化输出预测模型的端到端训练。
• 证明当结合有效的梯度估计时，多样本目标可提升模型容量利用率并获得更高的似然值。

提出的方法

• 提出VIMCO，一种基于从提议分布中独立采样K个样本的平均目标的新型无偏梯度估计器。
• 利用每个样本的学习信号来降低梯度方差，从而无需像NVIL那样依赖学习基线。
• 将该估计器应用于具有离散潜在变量的生成模型和结构化输出预测任务。
• 采用可基于输入数据进行条件化的提议分布，以提升样本质量并减少方差。
• 通过重参数化与重要性加权推导多样本下界梯度，确保无偏估计。
• 在二值化MNIST数据集上，对生成建模和条件图像补全任务均进行了评估。

实验结果

研究问题

• RQ1 能否设计一种用于多样本变分推断目标的无偏梯度估计器，以避免朴素估计器的高方差？
• RQ2 在多样本目标下，VIMCO是否在训练具有离散潜在变量的模型时优于NVIL？
• RQ3 与使用先验分布相比，使用学习得到的提议分布在多样本目标下对性能有何影响？
• RQ4 多样本目标在多大程度上能提升离散潜在变量模型的模型容量利用率和似然值？

主要发现

• VIMCO在训练生成模型和结构化输出预测模型方面始终优于NVIL，且随着样本数量增加，优势更加明显。
• 在使用50个样本时，VIMCO在结构化输出预测任务中实现了46.1纳特的负对数似然，优于此前最佳结果53.8纳特。
• 使用学习得到的提议分布显著提升了性能，即使最差的VIMCO结果也超过了使用先验分布的最佳结果。
• 随着样本数量增加，VIMCO与NVIL之间的性能差距进一步扩大，表明VIMCO具有更优的方差减少能力。
• 在条件图像补全任务中，使用VIMCO训练的模型能有效捕捉多模态结构，如生成样本所示。
• VIMCO在保持完全无偏的同时，实现了与有偏估计器相当的性能，从而支持更可靠、更稳定的训练。