[论文解读] Variational Bi-LSTMs

Samira Shabanian, Devansh Arpit+2 more|arXiv (Cornell University)|Nov 15, 2017

Topic Modeling参考文献 25被引用 8

一句话总结

本文提出变分双向LSTM（Variational Bi-LSTMs），一种新颖的架构，通过变分自编码器（VAE）框架联合训练前向和后向LSTM，实现在训练过程中路径间的信息交换，同时支持独立推理。该方法通过共享潜在空间正则化两条路径，提升了序列建模性能，在Penn Treebank、IMDB、TIMIT和Sequential MNIST等多个基准测试中达到最先进水平。

ABSTRACT

Recurrent neural networks like long short-term memory (LSTM) are important architectures for sequential prediction tasks. LSTMs (and RNNs in general) model sequences along the forward time direction. Bidirectional LSTMs (Bi-LSTMs) on the other hand model sequences along both forward and backward directions and are generally known to perform better at such tasks because they capture a richer representation of the data. In the training of Bi-LSTMs, the forward and backward paths are learned independently. We propose a variant of the Bi-LSTM architecture, which we call Variational Bi-LSTM, that creates a channel between the two paths (during training, but which may be omitted during inference); thus optimizing the two paths jointly. We arrive at this joint objective for our model by minimizing a variational lower bound of the joint likelihood of the data sequence. Our model acts as a regularizer and encourages the two networks to inform each other in making their respective predictions using distinct information. We perform ablation studies to better understand the different components of our model and evaluate the method on various benchmarks, showing state-of-the-art performance.

研究动机与目标

• 为解决标准双向LSTM中前向和后向LSTM独立训练的局限性，该局限性导致学习过程中无法实现信息共享。
• 通过在训练期间在前向和后向路径之间建立结构化信息通道，改进序列表征学习。
• 在训练期间有效利用未来上下文信息，同时在推理阶段保持自回归生成能力。
• 通过在序列联合似然上使用变分下界对两条LSTM路径进行正则化，提升泛化能力。
• 通过消融研究和基准测试，实证验证VAE-based信息交换机制的贡献。

提出的方法

• 该模型使用变分自编码器（VAE）在每个时间步将前向和后向LSTM隐藏状态映射到共享潜在空间。
• VAE的后验分布用于采样潜在变量 $\tilde{\mathbf{b}}_t$，随后用于重建后向LSTM隐藏状态 $\mathbf{b}_t$。
• 前向LSTM通过采样得到的潜在变量 $\tilde{\mathbf{b}}_t$ 进行条件化，从而在训练过程中融入后向上下文信息。
• 联合目标函数通过序列联合似然的变分下界推导得出，结合了重构损失和KL散度项。
• 在推理阶段，模型从VAE先验分布采样以生成序列，无需后向传播，从而保持自回归生成特性。
• 该方法通过潜在空间促使前向LSTM学习来自前向和后向上下文的信息，实现正则化效果。

实验结果

研究问题

• RQ1 通过变分框架联合优化前向和后向LSTM是否能提升序列建模性能？
• RQ2 在前向和后向路径之间引入共享潜在空间是否能增强表征学习和泛化能力？
• RQ3 与TwinNet和Z-forcing等现有方法相比，所提出的基于信息交换机制在性能和训练动态方面表现如何？
• RQ4 基于VAE的正则化在多大程度上提升了模型在序列任务上的鲁棒性和泛化能力？
• RQ5 尽管仅在训练阶段使用双向上下文，该模型是否仍能在自回归生成任务中保持优异性能？

主要发现

• 变分双向LSTM在Penn Treebank语言建模基准上达到最先进性能，优于标准双向LSTM和先前方法。
• 在IMDB情感分类任务中，该模型显著优于单向和标准双向LSTM，展现出更强的泛化能力。
• 在TIMIT语音识别基准上，该模型取得了具有竞争力的结果，表明其在序列声学建模任务中的强大性能。
• 在Blizzard和Sequential MNIST数据集上，该模型表现出稳健性能，证实其在多样化序列生成任务中的有效性。
• 消融研究证实，VAE-based信息交换机制至关重要，当移除潜在连接时性能显著下降。
• 该方法有效正则化了前向LSTM，减少了过拟合，尤其在低数据场景下显著提升了泛化能力。