[论文解读] Recurrent Neural Network-Based Sentence Encoder with Gated Attention for Natural Language Inference

Qian Chen, Xiaodan Zhu+4 more|arXiv (Cornell University)|Aug 4, 2017

Topic Modeling参考文献 10被引用 22

一句话总结

该论文提出了一种基于循环神经网络的句子编码器，采用门控注意力机制，在 RepEval 2017 和 SNLI 基准测试中均取得了最先进性能。通过将句内门控注意力机制整合到堆叠的双向 LSTM 架构中，并结合字符级和词级嵌入，该模型在 RepEval 2017 的同域和跨域测试集上均达到 74.9% 的准确率，在 SNLI 上达到 85.5% 的准确率（未使用跨句注意力），优于以往仅使用句子编码器的模型。

ABSTRACT

The RepEval 2017 Shared Task aims to evaluate natural language understanding models for sentence representation, in which a sentence is represented as a fixed-length vector with neural networks and the quality of the representation is tested with a natural language inference task. This paper describes our system (alpha) that is ranked among the top in the Shared Task, on both the in-domain test set (obtaining a 74.9% accuracy) and on the cross-domain test set (also attaining a 74.9% accuracy), demonstrating that the model generalizes well to the cross-domain data. Our model is equipped with intra-sentence gated-attention composition which helps achieve a better performance. In addition to submitting our model to the Shared Task, we have also tested it on the Stanford Natural Language Inference (SNLI) dataset. We obtain an accuracy of 85.5%, which is the best reported result on SNLI when cross-sentence attention is not allowed, the same condition enforced in RepEval 2017.

研究动机与目标

• 开发一种不依赖跨句注意力机制的句子编码器模型，以实现自然语言蕴涵任务中的高性能。
• 探究基于句子编码器的模型是否已充分发挥潜力，尤其是在与注意力机制模型的对比下。
• 通过在双向 LSTM 框架内引入一种新颖的句内门控注意力机制，提升句子表征质量。
• 评估模型在同域和跨域 NLI 数据集上的泛化性能。
• 建立一个强大的句子编码基线模型，用于自然语言蕴涵任务，且无需在前提和假设之间引入注意力机制。

提出的方法

• 采用混合词表示方法，结合字符级 CNN 嵌入和预训练的 GloVe 词嵌入，以提升 OOV（未登录词）和词形变化的泛化能力。
• 使用带有捷径连接的堆叠双向 LSTM 编码前提和假设序列，生成上下文隐藏状态。
• 提出一种新颖的句内门控注意力机制，通过输入门、遗忘门和输出门，选择性地关注每个句子中的重要词语。
• 对编码后的前提和假设表征应用逐元素乘积和绝对差值操作，以捕捉交互模式。
• 使用带有 Softmax 层的最终分类头，基于合并后的句子表征预测蕴涵、矛盾或中性标签。
• 通过平均五个使用不同随机初始化训练的模型实现模型集成，以提升鲁棒性和性能。

实验结果

研究问题

• RQ1 仅使用句子编码器的模型是否能在不使用跨句注意力机制的情况下，实现自然语言蕴涵任务的最先进性能？
• RQ2 句内门控注意力机制在提升 NLI 任务中句子表征质量方面的有效性如何？
• RQ3 字符级组合与预训练词嵌入在模型对域外数据的泛化能力方面，贡献程度如何？
• RQ4 与现有句子编码器模型相比，所提模型在跨域 NLI 基准测试中的泛化能力如何？
• RQ5 不同架构组件（如门控注意力、字符 CNN、词嵌入）对整体性能的相对贡献是什么？

主要发现

• 所提模型在 RepEval 2017 共享任务的同域和跨域测试集上均取得 74.9% 的准确率，整体排名第一。
• 在 SNLI 数据集上，不使用跨句注意力机制时，模型达到 85.5% 的准确率，是目前仅使用句子编码器模型中的最高记录。
• 移除门控注意力机制后，性能分别下降至 72.8%（同域）和 73.6%（跨域），证明其在性能中的关键作用。
• 消融实验表明，词级嵌入对性能贡献最大，若将其移除，准确率分别降至 65.6% 和 66.0%。
• 结合字符级组合与词级嵌入的模型优于仅使用其中一种的模型，表明二者具有互补优势。
• 通过集成五个独立初始化的模型，性能在两个测试集上均提升至 74.9%，证实了模型平均的有效性。