[论文解读] REGMAPR - A Recipe for Textual Matching

Siddhartha Brahma|arXiv (Cornell University)|Aug 13, 2018

Topic Modeling被引用 2

一句话总结

REGMAPR 是一种用于文本匹配的简单非注意力神经架构，通过引入词对之间的精确匹配和释义匹配特征来增强孪生网络。它在 SICK（释义检测）和 SNLI（文本蕴涵）任务上实现了最先进性能，且未使用句间注意力机制，优于复杂模型以及依赖大量手工特征的模型。

ABSTRACT

Text matching is a fundamental problem in natural language processing. Neural models using bidirectional LSTMs for sentence encoding and inter-sentence attention mechanisms perform remarkably well on several benchmark datasets. We propose REGMAPR - a simple and general architecture for text matching that does not use inter-sentence attention. Starting from a Siamese architecture, we augment the embeddings of the words with two features based on exact and para- phrase match between words in the two sentences. We train the model using three types of regularization on datasets for textual entailment, paraphrase detection and semantic related- ness. REGMAPR performs comparably or better than more complex neural models or models using a large number of handcrafted features. REGMAPR achieves state-of-the-art results for paraphrase detection on the SICK dataset and for textual entailment on the SNLI dataset among models that do not use inter-sentence attention.

研究动机与目标

• 开发一种轻量级、高效的文本匹配模型，避免使用复杂的注意力机制。
• 通过基于词级精确匹配和释义匹配的简单、可解释特征，提升文本匹配任务的性能。
• 在不依赖大规模手工特征或注意力模块的情况下，实现具有竞争力的结果。
• 在标准基准上建立一个高效且准确的文本匹配强基线模型。

提出的方法

• 采用孪生神经网络架构，对两个输入句子进行对称处理。
• 在词嵌入中引入两种额外特征：两句话中对应词之间的精确词匹配和释义匹配。
• 在训练过程中应用三种正则化方法，以提升在文本蕴涵、释义检测和语义相似度任务上的泛化能力。
• 使用双向 LSTM 编码句子表示，且不引入句间注意力机制。
• 在多个基准数据集上端到端训练模型，使用各类任务的标准损失函数。
• 在最终分类前，将词级匹配特征与上下文嵌入简单拼接。

实验结果

研究问题

• RQ1 是否能够设计一种文本匹配模型，在不使用句间注意力的情况下实现最先进性能？
• RQ2 精确匹配和释义匹配特征在提升文本匹配性能方面有多有效？
• RQ3 正则化技术和孪生架构能否替代文本匹配中的复杂注意力机制？
• RQ4 在标准基准上，是否具有极少手工特征的极简架构能优于更复杂的模型？

主要发现

• REGMAPR 在不使用句间注意力的模型中，于 SICK 数据集的释义检测任务上实现了最先进性能。
• 它在 SNLI 数据集的文本蕴涵任务上也实现了最先进结果，且未使用句间注意力机制。
• 该模型在性能上可与更复杂的神经网络模型以及依赖大量手工特征的模型相媲美或超越。
• 引入精确匹配和释义匹配特征后，性能显著优于基线孪生网络。
• 正则化技术有效防止了过拟合，并提升了在不同文本匹配任务上的泛化能力。
• 该架构展现出强大的效率与有效性，证明注意力机制并非实现高性能文本匹配的必要条件。