[论文解读] Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering

Wuwei Lan, Wei Xu|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 34被引用 73

一句话总结

本文系统分析了八个数据集上的几种用于句子对建模的神经网络设计，并比较编码为基础与交互为基础的方法，强调句间交互和上下文编码的重要性。它还发布一个实现这些模型的开源工具包。

ABSTRACT

In this paper, we analyze several neural network designs (and their variations) for sentence pair modeling and compare their performance extensively across eight datasets, including paraphrase identification, semantic textual similarity, natural language inference, and question answering tasks. Although most of these models have claimed state-of-the-art performance, the original papers often reported on only one or two selected datasets. We provide a systematic study and show that (i) encoding contextual information by LSTM and inter-sentence interactions are critical, (ii) Tree-LSTM does not help as much as previously claimed but surprisingly improves performance on Twitter datasets, (iii) the Enhanced Sequential Inference Model is the best so far for larger datasets, while the Pairwise Word Interaction Model achieves the best performance when less data is available. We release our implementations as an open-source toolkit.

研究动机与目标

• 推动对句子对任务的跨数据集端到端评估。
• 在统一框架下比较句子编码与句子对交互架构。
• 识别在不同任务和数据规模下最影响性能的设计选择。
• 评估同域内/跨域数据集之间的迁移学习效应。
• 为未来的句子对建模设计提供指南。

提出的方法

• 在统一的 PyTorch 框架中实现五个代表性模型（InferSent、SSE、PWIM、DecAtt、ESIM）及其变体。
• 将模型分为句子编码和句子对交互两类方法。
• 用基于 LSTM 的结构对上下文信息进行编码，并在句子对之间应用注意力/交互机制。
• 在涵盖 PI、STS、NLI 和 QA 任务的八个数据集上评估模型；分析性能、训练时间和数据规模的影响。
• 比较训练动态并剖析关键组件如句间注意力、Tree-LSTM 的使用以及对齐策略等的影响。

实验结果

研究问题

• RQ1 最先进的句子对模型是否在超出其原始评估集的任务与数据集上表现出良好的泛化能力？
• RQ2 设计选择（上下文编码、句间交互、注意力以及基于树的结构）如何影响跨任务的性能？
• RQ3 在不同数据可用性下，句子编码与句子对交互模型的相对优劣是什么？
• RQ4 在大型同域数据集与较小目标数据集之间的迁移学习如何影响性能？
• RQ5 哪些见解可为未来稳健的句子对建模设计提供指导？

主要发现

• 句间交互对各任务的强性能至关重要。
• Tree-LSTM 在类似 Twitter 的数据上帮助更大，但在不同数据集上并不始终如一。
• ESIM 在较大数据集上提供最一致的高性能；PWIM 在较小数据规模上表现出色。
• 句子编码模型在跨领域迁移方面往往比纯交互模型具有更好表现。
• 基于注意力和对齐的机制是实现有竞争力性能的关键组成部分。