[论文解读] Suffix Bidirectional Long Short-Term Memory.

Siddhartha Brahma|arXiv (Cornell University)|May 18, 2018

Topic Modeling参考文献 40被引用 5

一句话总结

本文提出后缀双向长短期记忆网络（SuBiLSTM），一种增强型BiLSTM架构，能够以正向和反向方式编码序列的前缀和后缀。通过在前缀和后缀建模中捕捉更丰富的上下文表征，SuBiLSTM在句子表征、文本分类、文本蕴含和命名实体识别任务中均达到最先进性能，在细粒度情感分析和问题分类任务中取得新的SOTA结果。

ABSTRACT

Recurrent neural networks have become ubiquitous in computing representations of sequential data, especially textual data in natural language processing. In particular, Bidirectional LSTMs are at the heart of several neural models achieving state-of-the-art performance in a wide variety of tasks in NLP. We propose a general and effective improvement to the BiLSTM model which encodes each suffix and prefix of a sequence of tokens in both forward and reverse directions. We call our model Suffix BiLSTM or SuBiLSTM. Using an extensive set of experiments, we demonstrate that using SuBiLSTM instead of a BiLSTM in existing base models leads to improvements in performance in learning general sentence representations, text classification, textual entailment and named entity recognition. We achieve new state-of-the-art results for fine-grained sentiment classification and question classification using SuBiLSTM.

研究动机与目标

• 为解决标准BiLSTM在捕捉序列数据中的长距离依赖关系和上下文细微差别的局限性。
• 通过显式建模序列的前缀和后缀，改进句子表征学习。
• 提升在文本分类、文本蕴含和命名实体识别等多样化NLP任务中的性能。
• 利用所提出的架构在细粒度情感分类和问题分类任务中实现最先进结果。

提出的方法

• 该模型通过在前向和后向方向上分别处理每个序列的前缀和后缀，扩展了标准BiLSTM。
• 对于序列中的每个词元，模型计算以该词元结尾的所有可能前缀和后缀的隐藏状态。
• 每个词元的最终表征结合了前缀和后缀编码的前向与后向隐藏状态。
• 该架构保持核心LSTM单元结构不变，但独立应用于序列的前缀和后缀段。
• 模型使用标准注意力机制或池化机制，对下游任务的表征进行聚合。
• 训练采用端到端方式，使用标准反向传播与梯度下降法。

实验结果

研究问题

• RQ1 对序列的前缀和后缀进行建模是否能提升NLP任务中的句子表征学习？
• RQ2 所提出的SuBiLSTM架构在文本分类和命名实体识别任务中是否优于标准BiLSTM？
• RQ3 SuBiLSTM能否在细粒度情感分类和问题分类任务中实现最先进性能？
• RQ4 引入前缀和后缀建模如何影响上下文表征的质量？

主要发现

• SuBiLSTM在细粒度情感分类任务中取得新的SOTA性能，在基准数据集上超越先前模型。
• 该模型在多个NLP任务中均实现性能提升，包括文本分类、文本蕴含和命名实体识别。
• 性能提升归因于通过显式前缀和后缀编码增强了长距离依赖关系的建模能力。
• 当作为现有神经网络架构中的基础编码器使用时，SuBiLSTM在所有情况下均持续优于标准BiLSTM。
• 在需要细粒度上下文理解的任务中，性能增益尤为显著。
• 该模型在无需架构大幅调整的情况下，展现出在多样化NLP基准上的强大泛化能力。