[论文解读] Question Answering over Freebase via Attentive RNN with Similarity Matrix based CNN

Yingqi Qu, Jie Liu+3 more|arXiv (Cornell University)|Apr 10, 2018

Topic Modeling参考文献 9被引用 45

一句话总结

本文提出 AR-SMCNN，一种用于对 Freebase 上的 KBQA 的模型，它将带注意力的 RNN 与相似性矩阵 CNN 相结合，以保持字级交互，并声称在 SimpleQuestion 上实现了更高的准确性和效率。

ABSTRACT

With the rapid growth of knowledge bases (KBs), question answering over knowledge base, a.k.a. KBQA has drawn huge attention in recent years. Most of the existing KBQA methods follow so called encoder-compare framework. They map the question and the KB facts to a common embedding space, in which the similarity between the question vector and the fact vectors can be conveniently computed. This, however, inevitably loses original words interaction information. To preserve more original information, we propose an attentive recurrent neural network with similarity matrix based convolutional neural network (AR-SMCNN) model, which is able to capture comprehensive hierarchical information utilizing the advantages of both RNN and CNN. We use RNN to capture semantic-level correlation by its sequential modeling nature, and use an attention mechanism to keep track of the entities and relations simultaneously. Meanwhile, we use a similarity matrix based CNN with two-directions pooling to extract literal-level words interaction matching utilizing CNNs strength of modeling spatial correlation among data. Moreover, we have developed a new heuristic extension method for entity detection, which significantly decreases the effect of noise. Our method has outperformed the state-of-the-arts on SimpleQuestion benchmark in both accuracy and efficiency.

研究动机与目标

• 推动在大规模知识库上进行 KBQA，并解决编码器-比较方法中丢失的字级交互。
• 通过将基于 RNN 的语义建模与相似性矩阵 CNN 相结合来保留原始的字级交互。
• 开发一个实体检测扩展，以降低 KBQA 的噪声。
• 在 SimpleQuestion 基准测试上展示最先进的性能。
• 提高 KBQA 处理的效率。

提出的方法

• 使用带注意力的 RNN 捕捉语义层面的相关性，并通过注意力跟踪实体和关系。
• 使用基于相似性矩阵的 CNN，结合双向池化提取字面层面的单词交互匹配。
• 在 RNN 内部整合注意力机制，使问题与知识库中的实体和关系对齐。
• 提出一种用于实体检测的启发式扩展方法以降低噪声。
• 利用卷积神经网络建模单词交互中的空间相关性。

实验结果

研究问题

• RQ1 带注意力的 RNN 与基于相似性矩阵的 CNN 相结合，是否比编码器-比较方法更好地保留 KBQA 的字级交互？
• RQ2 AR-SMCNN 模型是否在 SimpleQuestion 基准上提升准确性和效率？
• RQ3 所提出的启发式实体检测扩展是否降低噪声并提升问答性能？
• RQ4 注意力在基于 Freebase 的问题中跟踪实体和关系的效果有多高？

主要发现

• AR-SMCNN 模型在 SimpleQuestion 上在准确性和效率方面超越了最先进的方法。
• 该架构利用 RNN 捕捉语义层面的相关性，并通过相似性矩阵的 CNN 提取字面层面的单词交互。
• 注意力机制有助于在知识库中联合跟踪实体和关系。
• 一种启发式实体检测扩展降低了噪声并提高了鲁棒性。