[论文解读] Preventing Posterior Collapse in Sequence VAEs with Pooling

Teng Fei Long, Yanshuai Cao+1 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 23被引用 4

一句话总结

本文通过在编码器中引入一种简单的池化机制，解决了序列VAE中的后验坍缩问题，从而在无需复杂架构修改或昂贵优化的情况下，显著提升了对数似然值。该方法在实现SOTA性能的同时，训练速度远超以往方法。

ABSTRACT

Variational Autoencoders (VAEs) hold great potential for modelling text, as they could in theory separate high-level semantic and syntactic properties from local regularities of natural language. Practically, however, VAEs with autoregressive decoders often suffer from posterior collapse, a phenomenon where the model learns to ignore the latent variables, causing the sequence VAE to degenerate into a language model. Previous works attempt to solve this problem with complex architectural changes or costly optimization schemes. In this paper, we argue that posterior collapse is caused in part by the encoder network failing to capture the input variabilities. We verify this hypothesis empirically and propose a straightforward fix using pooling. This simple technique effectively prevents posterior collapse, allowing the model to achieve significantly better data log-likelihood than standard sequence VAEs. Compared to the previous SOTA on preventing posterior collapse, we are able to achieve comparable performances while being significantly faster.

研究动机与目标

• 探究具有自回归解码器的序列VAE中后验坍缩的根本原因。
• 检验编码器对输入可变性捕捉能力不足是否导致后验坍缩的假设。
• 提出一种轻量化、高效的解决方案，通过在编码器中引入池化机制来防止后验坍缩。
• 在避免复杂架构修改的前提下，实现优于标准序列VAE的对数似然值，同时保持比以往SOTA方法更快的训练速度。

提出的方法

• 作者在编码器中引入池化操作，以聚合局部输入表征，提升模型捕捉输入可变性的能力。
• 池化操作应用于潜在变量瓶颈之前，使编码器能够更有效地总结输入序列。
• 该方法保持标准VAE架构不变，但通过全局上下文聚合增强了编码器的表征能力。
• 该方法无需架构上的重大改动或复杂的优化方案，仅依赖于一种简单且可微的池化层。
• 模型通过标准VAE目标端到端训练，采用重参数化梯度估计。

实验结果

研究问题

• RQ1 编码器对输入可变性捕捉能力不足是否导致序列VAE中的后验坍缩？
• RQ2 在编码器中引入简单池化机制是否能有效缓解后验坍缩？
• RQ3 与以往SOTA方法相比，该方法在性能和训练速度方面表现如何？
• RQ4 该模型能否在避免复杂架构修改的前提下实现更高的对数似然值？

主要发现

• 所提出的池化机制通过增强编码器对输入可变性的表征能力，显著减少了后验坍缩。
• 与标准序列VAE相比，该模型在数据对数似然值方面有显著提升。
• 该方法在防止后验坍缩方面与以往SOTA方法性能相当。
• 由于方法本身的简洁性以及无需复杂优化方案，其训练速度显著快于以往SOTA方法。