[论文解读] Query-based Attention CNN for Text Similarity Map

Tzu-Chien Liu, Yu-Hsueh Wu+1 more|arXiv (Cornell University)|Sep 15, 2017

Topic Modeling参考文献 7被引用 7

一句话总结

本文提出了一种基于查询的注意力卷积神经网络（QACNN），这是一种用于多项选择题问答任务的端到端神经网络，采用两阶段CNN架构并结合基于查询的注意力机制，以提升文本相似度匹配效果。通过整合词级别和句子级别的注意力机制，QACNN在MovieQA数据集上实现了79.99%的准确率，创下新的最先进性能记录。

ABSTRACT

In this paper, we introduce Query-based Attention CNN(QACNN) for Text Similarity Map, an end-to-end neural network for question answering. This network is composed of compare mechanism, two-staged CNN architecture with attention mechanism, and a prediction layer. First, the compare mechanism compares between the given passage, query, and multiple answer choices to build similarity maps. Then, the two-staged CNN architecture extracts features through word-level and sentence-level. At the same time, attention mechanism helps CNN focus more on the important part of the passage based on the query information. Finally, the prediction layer find out the most possible answer choice. We conduct this model on the MovieQA dataset using Plot Synopses only, and achieve 79.99% accuracy which is the state of the art on the dataset.

研究动机与目标

• 为解决现有对比-聚合框架在匹配篇章与查询时的局限性，通过引入注意力机制加以改进。
• 通过两阶段CNN架构，提升在词级别与句子级别上的特征提取能力。
• 通过基于查询的注意力机制，聚焦于篇章中与查询上下文语义相关的内容，从而提升模型性能。
• 在MovieQA数据集上，实现多项选择题问答任务的最先进性能。

提出的方法

• 模型使用嵌入层，通过预训练的GloVe嵌入将篇章、查询和答案选项转换为词向量。
• 相似度映射层计算篇章句子与查询之间的余弦相似度，以及篇章句子与每个答案选项之间的余弦相似度，生成二维和三维相似度图。
• 两阶段CNN架构首先在篇章-查询和篇章-选项相似度图上使用卷积层进行词级别匹配，随后对池化后的特征进行句子级别匹配。
• 在词级别和句子级别均应用基于查询的注意力机制，利用篇章-查询相似度图生成注意力权重，以突出显示相关词和句子。
• 将篇章-选项匹配的注意力加权特征传递至预测层，以选择最可能的答案选项。
• 模型在MovieQA数据集上端到端训练，仅使用剧情概要作为篇章输入。

实验结果

研究问题

• RQ1 两阶段CNN架构是否能提升多项选择题问答中文本匹配的特征提取效果？
• RQ2 在词级别和句子级别均应用基于查询的注意力机制，是否能增强模型识别篇章中相关信息的能力？
• RQ3 与被动聚合方法相比，注意力机制的引入如何影响模型性能？
• RQ4 仅使用剧情概要作为输入，该模型能否在MovieQA基准上实现最先进性能？

主要发现

• QACNN在MovieQA测试集上实现了79.99%的准确率，创下该数据集的新最先进记录。
• 两阶段CNN架构显著优于单阶段版本，后者在验证集上仅达到66.8%的准确率。
• 消融实验表明，若同时移除两种注意力机制，性能下降至69.6%，表明注意力机制对模型有效性至关重要。
• 句子级别注意力的贡献大于词级别注意力，仅使用句子级别注意力的QACNN达到75.1%的准确率，而仅使用词级别注意力的模型准确率为72.5%。
• 可视化结果证实，句子级别注意力图正确识别出包含正确答案的句子，而词级别注意力则聚焦于该句末尾的关键词汇。
• 该模型在MCTest数据集上也表现出色，MC160数据集上达到68.1%的准确率，MC500数据集上达到61.5%的准确率，优于基线模型。