[论文解读] Recursive Inference for Variational Autoencoders

Minyoung Kim, Vladimir Pavlović|arXiv (Cornell University)|Nov 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 6

一句话总结

本文提出了一种变分自编码器（VAEs）的递归摊销推断方法，通过在混合推断网络中逐步添加多样化且最大化分歧的组件，迭代改进后验近似。与需要在测试时进行迭代优化的半摊销方法不同，该方法实现了快速的单次前向传播测试时推断，并通过结合函数梯度优化与有界KL正则化，在多个基准测试中实现了最先进（SOTA）的测试数据似然度。

ABSTRACT

Inference networks of traditional Variational Autoencoders (VAEs) are typically amortized, resulting in relatively inaccurate posterior approximation compared to instance-wise variational optimization. Recent semi-amortized approaches were proposed to address this drawback; however, their iterative gradient update procedures can be computationally demanding. To address these issues, in this paper we introduce an accurate amortized inference algorithm. We propose a novel recursive mixture estimation algorithm for VAEs that iteratively augments the current mixture with new components so as to maximally reduce the divergence between the variational and the true posteriors. Using the functional gradient approach, we devise an intuitive learning criteria for selecting a new mixture component: the new component has to improve the data likelihood (lower bound) and, at the same time, be as divergent from the current mixture distribution as possible, thus increasing representational diversity. Compared to recently proposed boosted variational inference (BVI), our method relies on amortized inference in contrast to BVI's non-amortized single optimization instance. A crucial benefit of our approach is that the inference at test time requires a single feed-forward pass through the mixture inference network, making it significantly faster than the semi-amortized approaches. We show that our approach yields higher test data likelihood than the state-of-the-art on several benchmark datasets.

研究动机与目标

• 为解决标准摊销推断在VAEs中因编码器容量固定而导致后验复杂度被低估的问题。
• 克服半摊销方法在测试时需要迭代梯度更新所带来的计算开销。
• 开发一种可扩展的摊销推断框架，保持高表征多样性，并避免混合模型中的模式崩溃。
• 通过基于函数梯度下降的递归组件添加策略，在保持快速推断的同时提升数据似然度。

提出的方法

• 提出一种递归混合估计算法，通过逐步向推断网络添加新组件，以最小化变分后验与真实后验之间的分歧。
• 采用函数梯度方法推导学习准则：每个新组件必须提升变分下界并最大化与当前混合分布的分歧。
• 在组件学习过程中引入有界KL损失正则化，以防止退化解并相比BVI中使用的熵正则化提升数值稳定性。
• 构建一种摊销推断网络，使得测试时的推断仅需一次前向传播，而无需半摊销方法中所需的迭代微调。
• 引入一种递归更新规则，基于新组件减少后验分歧并增强表征多样性的能力来选择新组件。
• 利用VAE目标的结构，实现混合编码器的端到端训练，支持稳定且可扩展的优化。

实验结果

研究问题

• RQ1 我们能否在不牺牲推断速度的前提下，提升VAEs中后验近似的准确性？
• RQ2 如何在保持多样性并避免模式崩溃的前提下，递归改进混合推断网络？
• RQ3 何种学习准则能够实现摊销VAE推断中有效且稳定的组件添加？
• RQ4 在摊销混合推断的背景下，有界KL正则化与熵正则化相比有何差异？
• RQ5 递归摊销推断方法能否在数据似然度上超越标准VAEs和半摊销基线方法，同时保持快速的测试时推断？

主要发现

• 所提方法在MNIST、Omniglot和CIFAR-10上实现了最高的测试数据似然度，优于标准VAEs、半摊销方法和基于流的模型。
• 在CelebA数据集（100维潜在空间）上，该方法实现了17,875.1 nats的测试对数似然度，较次优方法（BVI-ER1）高出逾100 nats。
• RME（递归混合估计）模型在使用5个组件时，于CelebA（100维z）上实现17,875.1 nats的测试对数似然度，显著优于VAE基线的17,395.5 nats。
• 该方法保持了快速推断：测试时仅需通过混合网络进行一次前向传播，而无需基于梯度的迭代方法。
• 有界KL正则化策略相比熵正则化在训练中表现更稳定、更高效，尤其在高容量摊销设置下优势明显。
• 实证结果表明，结合分歧最大化进行递归组件添加能持续提升似然度，并避免在坍缩混合模型中常见的性能退化。