[论文解读] Sentence-State LSTM for Text Representation

Yue Zhang, Qi Liu+1 more|arXiv (Cornell University)|May 7, 2018

Topic Modeling参考文献 43被引用 39

一句话总结

本文提出Sentence-State LSTM（S-LSTM），一种并行循环架构，可同时建模所有词的隐藏状态与全局句子级状态，实现高效的局部与全局上下文信息交换。S-LSTM在文本分类与序列标注任务中相比BiLSTM表现更优，参数更少且推理更快，尤其在长序列上优势显著。

ABSTRACT

Bi-directional LSTMs are a powerful tool for text representation. On the other hand, they have been shown to suffer various limitations due to their sequential nature. We investigate an alternative LSTM structure for encoding text, which consists of a parallel state for each word. Recurrent steps are used to perform local and global information exchange between words simultaneously, rather than incremental reading of a sequence of words. Results on various classification and sequence labelling benchmarks show that the proposed model has strong representation power, giving highly competitive performances compared to stacked BiLSTM models with similar parameter numbers.

研究动机与目标

• 通过在句子中所有词上实现并行状态更新，解决BiLSTM的顺序计算瓶颈。
• 克服BiLSTM在捕捉长距离依赖关系以及显式建模局部n-gram方面的局限性。
• 引入全局句子级状态，增强非局部信息流动，提升表征质量。
• 设计一种保持高度并行性的循环架构，同时为自然语言处理任务保留丰富的上下文建模能力。
• 证明S-LSTM中固定数量的循环步数可在参数量相近的情况下，实现优于可变长度BiLSTM序列的性能。

提出的方法

• 将整个句子建模为由单个词级状态与全局句子级状态组成的单一状态。
• 并行执行循环更新：每个词状态同时与左右邻居交换信息。
• 允许句子级状态通过门控更新机制聚合并重新分配全局上下文信息至所有词状态。
• 使用固定数量的循环步数（3–6）在序列中传播3-gram、5-gram与7-gram的上下文信息。
• 将句子级状态作为全局表征集成至分类任务中。
• 使用标准反向传播与梯度下降进行端到端训练，通过并行状态转移保持计算效率。

实验结果

研究问题

• RQ1 并行循环架构是否能在保持或提升准确率的同时，优于顺序执行的BiLSTM？
• RQ2 引入全局句子级状态是否能提升长距离依赖关系的建模能力，相比标准BiLSTM？
• RQ3 S-LSTM在长序列上相比BiLSTM在计算延迟方面减少了多少？
• RQ4 S-LSTM在序列标注任务（如POS标注与命名实体识别）上相比堆叠的BiLSTM-CRF模型表现如何？
• RQ5 S-LSTM是否能在更少参数与更少循环步数下，实现与堆叠BiLSTM模型相当甚至更优的结果？

主要发现

• 在WSJ数据集的POS标注任务中，S-LSTM在7次循环步数下达到97.58%的测试准确率，在相同参数预算下优于BiLSTM。
• 在CoNLL-2003 NER测试集上，S-LSTM的F1得分为91.57%，显著优于BiLSTM，并与当前最先进结果相当或更优。
• S-LSTM在处理更长句子时表现出更强的鲁棒性，在长序列上保持高于BiLSTM的准确率。
• S-LSTM每轮训练时间显著快于BiLSTM，尤其在长输入序列上，速度优势随序列长度增加而扩大。
• S-LSTM的GPU显存占用高于BiLSTM（在电影评论数据集上为252M vs. 89M），这是由于所有词状态并行计算所致。
• S-LSTM仅需3–6次循环步数即可实现优异性能，而BiLSTM需与序列长度成比例的步数。