[论文解读] Reasoning about Entailment with Neural Attention

Tim Rocktäschel, Edward Grefenstette+3 more|arXiv (Cornell University)|Sep 22, 2015

Natural Language Processing Techniques被引用 406

一句话总结

本文提出了一种新颖的端到端可微分神经网络，用于文本蕴含任务，结合双向LSTM与逐词注意力机制，以推理前提与假设之间的语义关系。通过将假设LSTM的输入条件化为前提的最终细胞状态，并对前提的所有隐藏状态进行注意力计算，该模型在SNLI数据集上实现了83.5%的准确率，超越了强基线LSTM模型和词法相似度分类器，展示了最先进的性能，并通过注意力可视化实现了可解释性。

ABSTRACT

While most approaches to automatically recognizing entailment relations have used classifiers employing hand engineered features derived from complex natural language processing pipelines, in practice their performance has been only slightly better than bag-of-word pair classifiers using only lexical similarity. The only attempt so far to build an end-to-end differentiable neural network for entailment failed to outperform such a simple similarity classifier. In this paper, we propose a neural model that reads two sentences to determine entailment using long short-term memory units. We extend this model with a word-by-word neural attention mechanism that encourages reasoning over entailments of pairs of words and phrases. Furthermore, we present a qualitative analysis of attention weights produced by this model, demonstrating such reasoning capabilities. On a large entailment dataset this model outperforms the previous best neural model and a classifier with engineered features by a substantial margin. It is the first generic end-to-end differentiable system that achieves state-of-the-art accuracy on a textual entailment dataset.

研究动机与目标

• 开发一种无需依赖人工设计语言特征的通用、端到端可微分神经网络模型，用于文本蕴含任务。
• 通过基于前提隐藏状态的条件化编码，改进现有独立编码前提与假设的神经模型。
• 通过在前提上应用逐词注意力机制，增强对句子对之间语义关系的推理能力。
• 通过注意力模式的定性分析，提供模型捕捉蕴含、矛盾与释义关系能力的可解释性验证。
• 使用通用的序列到序列架构，在斯坦福自然语言蕴含（SNLI）数据集上实现最先进性能。

提出的方法

• 分别使用双向LSTM对前提和假设进行编码，并将假设LSTM的输入条件化为前提LSTM的最终细胞状态。
• 应用软注意力机制，对前提的所有隐藏状态计算注意力权重，以在处理假设时聚焦于相关词语和短语。
• 通过计算假设中每个词与前提所有隐藏状态之间的注意力得分，实现逐词注意力，从而实现细粒度对齐。
• 将假设LSTM的最终隐藏状态通过非线性投影映射到softmax分类器，用于预测蕴含、中性或矛盾类别。
• 使用交叉熵损失端到端训练整个模型，对词表内词汇使用固定的word2vec嵌入，对词表外词汇使用可学习的嵌入。
• 通过允许模型在处理前提时也关注假设，实现双向注意力，但该设置未提升性能。

实验结果

研究问题

• RQ1 具有注意力机制的可微分端到端神经网络是否能在文本蕴含任务中超越传统基于特征的分类器？
• RQ2 将假设LSTM条件化为前提的隐藏状态是否能提升对句子对之间语义关系的推理能力？
• RQ3 在前提隐藏状态上应用逐词注意力是否能增强模型在词与短语层面检测蕴含、矛盾或释义关系的能力？
• RQ4 注意力权重在真实样本中是否能反映有意义的语义关系，如同义、矛盾或释义？
• RQ5 双向注意力（同时关注前提与假设）是否能提升性能，还是蕴含任务的不对称性限制了其收益？

主要发现

• 所提出的模型在SNLI数据集上实现了83.5%的准确率，创下该基准上神经网络模型的新SOTA性能。
• 与强基线LSTM模型（80.9%）相比，准确率提升2.6个百分点，与词法相似度分类器相比提升2.7个百分点。
• 与仅关注前提最终隐藏状态的注意力机制相比，逐词注意力带来了1.2个百分点的性能提升。
• 定性分析表明，模型能正确关注语义一致的词语（如“riding”与“rides”）、矛盾性术语（如“blue”与“pink”）以及释义表达（如“garbage can”与“trashcan”）。
• 模型能有效忽略无信息量的短语（如“which also has a rope leading out of it”），在判断蕴含关系时表现出对噪声的鲁棒性。
• 注意力模式显示，模型能够处理一对多关系（如“kids”对应“boy”和“girl”），并运用常识知识（如“snow”暗示“outside”，“mother”暗示“adult”）。