[论文解读] The Thermodynamic Variational Objective

Vaden Masrani, Tuan Anh Le+1 more|arXiv (Cornell University)|Jun 28, 2019

Gaussian Processes and Bayesian Inference参考文献 39被引用 4

一句话总结

该论文提出了热力学变分目标（TVO），这是一种对对数边缘似然的更紧的下界，统一并改进了现有的变分推断方法。通过利用真实后验与变分近似之间的热力学积分路径，TVO 实现了低方差、无需重参数化的梯度估计，适用于连续和离散潜在变量，在模型和推理网络学习方面实现了最先进性能。

ABSTRACT

We introduce the thermodynamic variational objective (TVO) for learning in both continuous and discrete deep generative models. The TVO arises from a key connection between variational inference and thermodynamic integration that results in a tighter lower bound to the log marginal likelihood than the standard variational variational evidence lower bound (ELBO) while remaining as broadly applicable. We provide a computationally efficient gradient estimator for the TVO that applies to continuous, discrete, and non-reparameterizable distributions and show that the objective functions used in variational inference, variational autoencoders, wake sleep, and inference compilation are all special cases of the TVO. We use the TVO to learn both discrete and continuous deep generative models and empirically demonstrate state of the art model and inference network learning.

研究动机与目标

• 解决具有离散和不可重参数化潜在变量的深度生成模型中低方差梯度估计的挑战。
• 在不牺牲广泛适用性的前提下，收紧对数边缘似然的变分下界。
• 在单一原理性框架下统一并推广现有的目标，如ELBO、IWAE、VAE和Wake-Sleep。
• 通过避免标准方法中更紧的下界导致的性能退化，提升模型和推理网络的学习效果。
• 提供一种计算高效、无需重参数化的梯度估计器，适用于多种类型的潜在变量。

提出的方法

• TVO 由热力学变分恒等式推导而来，该恒等式将对数边缘似然表示为从模型分布到推理分布之间几何路径上瞬时ELBO的一维积分。
• 该路径由一族未归一化的密度 $\tilde{\pi}_{\beta}(\mathbf{z}) = p_{\theta}(\mathbf{x},\mathbf{z})^{\beta} q_{\phi}(\mathbf{z}|\mathbf{x})^{1-\beta}$ 定义，参数为 $\beta \in [0,1]$。
• TVO 作为该积分的黎曼和近似，使用 $K$ 个等距采样点，其下界比标准ELBO更紧。
• 提出了一种新型梯度估计器，避免使用重参数化技巧，且方差低于REINFORCE，从而可有效训练非重参数化分布。
• 该方法推广了现有目标：当 $K=1$ 时对应ELBO，而当 $K>1$ 时，重要性加权自编码器（IWAE）成为特例。
• 该方法被应用于连续和离散潜在变量模型，并在MNIST及其他基准数据集上进行了实证评估。

实验结果

研究问题

• RQ1 能否推导出一种统一的目标，使其在保持对连续和离散潜在变量适用性的同时，收紧变分下界？
• RQ2 如何在深度生成模型中对不可重参数化的分布实现低方差梯度估计？
• RQ3 优化如TVO这样的更紧下界是否能避免IWAE中观察到的推理网络性能退化问题？
• RQ4 能否利用热力学积分与变分推断之间的联系来提升模型学习和泛化能力？
• RQ5 TVO 是否能够在多种架构中实现模型和推理网络训练的最先进性能？

主要发现

• TVO 对对数边缘似然的下界比标准ELBO更紧，且随着积分点数 $K$ 增加，该下界可任意趋紧。
• 所提出的TVO梯度估计器在经验上具有比REINFORCE更低的方差，且无需重参数化，从而可有效训练离散和不可重参数化模型。
• 优化TVO可获得比优化IWAE目标更好的推理网络性能，解决了已知的更紧下界导致推理网络质量下降的问题。
• TVO 涵盖并推广了现有目标：ELBO、VAE、Wake-Sleep和推理编译均可视为TVO的特例。
• 在MNIST上的实证结果表明，TVO在连续和离散潜在变量模型中，均实现了模型似然和推理网络质量的最先进性能。
• 该方法在多种架构中均表现有效，包括具有正态和伯努利似然的深层VAE，并在离散和连续设置中均表现出鲁棒性。