[论文解读] Semi-Amortized Variational Autoencoders

Yoon Kim, Sam Wiseman+3 more|arXiv (Cornell University)|Feb 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 57被引用 33

一句话总结

本文提出半 amortized 变分自编码器（SA-VAE），结合了 amortized 推断与可微分随机变分推断，以局部优化变分参数。通过反向传播通过迭代优化过程，该方法实现了端到端训练，显著减少了 amortization gap 并防止了后验崩溃，相较于标准 VAE 和自回归基线模型，在文本和图像生成任务上的性能有显著提升。

ABSTRACT

Amortized variational inference (AVI) replaces instance-specific local inference with a global inference network. While AVI has enabled efficient training of deep generative models such as variational autoencoders (VAE), recent empirical work suggests that inference networks can produce suboptimal variational parameters. We propose a hybrid approach, to use AVI to initialize the variational parameters and run stochastic variational inference (SVI) to refine them. Crucially, the local SVI procedure is itself differentiable, so the inference network and generative model can be trained end-to-end with gradient-based optimization. This semi-amortized approach enables the use of rich generative models without experiencing the posterior-collapse phenomenon common in training VAEs for problems like text generation. Experiments show this approach outperforms strong autoregressive and variational baselines on standard text and image datasets.

研究动机与目标

• 为解决变分自编码器中的 amortization gap 问题，即固定推理网络导致的次优变分参数。
• 克服 VAE 中的后验崩溃问题——尤其在文本生成中，模型忽略潜在代码。
• 通过反向传播通过局部变分推断，实现深度生成模型的端到端训练。
• 在不依赖强条件独立性假设的前提下，提升图像和文本数据集上的样本质量和对数似然。
• 证明强大的自回归生成模型可借助这种混合方法，有效训练出具有意义的潜在表示。

提出的方法

• 使用推理网络为每个数据点初始化变分参数，如 amortized 变分推断中所做。
• 应用可微分随机变分推断（SVI）通过基于梯度的优化来精炼这些初始参数。
• 通过整个 SVI 过程进行反向传播，以端到端方式联合训练推理网络和生成模型。
• 使用对迭代精炼步骤进行微分的梯度更新来优化证据下界（ELBO）。
• 利用可微分优化技术，使局部精炼过程对模型参数可微。
• 使用单一目标进行训练：精炼后的最终 ELBO，确保训练与推理时的一致性。

实验结果

研究问题

• RQ1 可微分的局部变分参数精炼是否能提升 VAE 中潜在表示的质量？
• RQ2 将 amortized 初始化与迭代精炼结合，是否能在不损害训练效率的前提下减少 VAE 中的 amortization gap？
• RQ3 该方法能否在如文本等序列数据上训练的 VAE 中防止后验崩溃？
• RQ4 SA-VAE 在图像和文本生成任务上的性能与强大自回归模型及标准 VAE 相比如何？
• RQ5 借助此方法，强大的自回归生成模型是否能被有效训练出具有意义的潜在代码？

主要发现

• 所提出的半 amortized VAE 在标准文本和图像数据集上，相较于强大的自回归和变分基线模型，在对数似然和样本质量方面表现更优。
• 该方法成功防止了在文本上训练的 VAE 中的后验崩溃，使基于 LSTM 的生成模型能够维持非平凡的潜在表示。
• 通过 SVI 进行反向传播的端到端训练，相比使用推理与生成分开训练目标的方法，能获得更优的生成模型。
• 该方法使使用丰富且表达性强的生成模型成为可能，而不会像标准 VAE 中那样导致性能下降。
• 实验表明，当未应用端到端优化时，SA-VAE 在与 VAE 和 SVI 直接结合的基线模型相比，性能具有竞争力或更优。