[论文解读] Simple Question Answering by Attentive Convolutional Neural Network

Wenpeng Yin, Mo Yu+3 more|arXiv (Cornell University)|Jun 10, 2016

Topic Modeling参考文献 33被引用 28

一句话总结

本文提出一种注意力卷积神经网络（AMPCNN），用于在Freebase上进行简单问答任务，采用字符级CNN实现问题提及与实体名称之间的表面形式匹配，同时利用词级CNN结合注意力池化机制，实现问题模式与Freebase谓词之间的对齐。该方法在SimpleQuestions基准测试中达到最先进性能，F1分数相比先前模型最高提升1.5%。

ABSTRACT

This work focuses on answering single-relation factoid questions over Freebase. Each question can acquire the answer from a single fact of form (subject, predicate, object) in Freebase. This task, simple question answering (SimpleQA), can be addressed via a two-step pipeline: entity linking and fact selection. In fact selection, we match the subject entity in a fact candidate with the entity mention in the question by a character-level convolutional neural network (char-CNN), and match the predicate in that fact with the question by a word-level CNN (word-CNN). This work makes two main contributions. (i) A simple and effective entity linker over Freebase is proposed. Our entity linker outperforms the state-of-the-art entity linker over SimpleQA task. (ii) A novel attentive maxpooling is stacked over word-CNN, so that the predicate representation can be matched with the predicate-focused question representation more effectively. Experiments show that our system sets new state-of-the-art in this task.

研究动机与目标

• 通过更有效地处理事实选择任务，提升在Freebase上的简单问答（SimpleQA）性能。
• 设计一种简单而有效的实体链接器，提升问题中实体提及的覆盖度与准确性。
• 通过新颖的注意力池化机制，建模问题模式与Freebase谓词之间的关系。
• 在SimpleQuestions基准测试中，于事实选择与关系分类任务上均超越现有方法。

提出的方法

• 使用字符级CNN（char-CNN）基于表面形式相似性，将问题中的主体实体与其中的提及进行匹配，提升对拼写错误和变体的鲁棒性。
• 采用词级CNN结合注意力池化（AMPCNN），将Freebase事实中的谓词与问题的主题模式对齐，实现对改写查询的灵活匹配。
• 引入三重评分机制——词覆盖比率、提及位置与名称重叠度——用于在实体链接过程中对候选实体进行排序，无需依赖语义嵌入。
• 在AMPCNN层中应用单向注意力机制，由谓词表示引导问题模式表示的池化过程，聚焦于相关子序列匹配。
• 在SimpleQuestions数据集上端到端训练模型，联合优化实体链接与事实选择组件。
• 在关系分类子任务上评估注意力机制，以独立隔离并比较注意力机制的有效性，不受完整流水线影响。

实验结果

研究问题

• RQ1 在SimpleQA任务中，基于表面形式的简单实体链接器是否能超越基于语义或n-gram的方法？
• RQ2 结合注意力池化的词级CNN在匹配改写后的问题模式与Freebase谓词方面效果如何？
• RQ3 所提出的注意力池化机制是否相比标准或基线注意力机制能提升事实选择的准确性？
• RQ4 实体链接与注意力事实匹配的集成在多大程度上促进了SimpleQA整体SOTA性能的实现？

主要发现

• 所提出的实体链接器在FB5M数据集上的实体链接覆盖度高于最先进方法，提升2%。
• 在FB5M测试集上，AMPCNN在启用实体链接的情况下取得76.4的F1分数，显著优于此前SOTA的75.7。
• 在关系分类子任务中，AMPCNN达到91.3%的准确率，优于最佳基线APCNN的0.8%，且参数量更少。
• 消融实验表明，移除注意力机制（TMPCNN）后仍保持强劲性能（FB2M上F1为75.4），表明CNN架构即使无注意力机制也具备强鲁棒性。
• 模型在不同实体候选top-N设置下保持高性能，F1分数从N=5到N=100持续上升，在FB2M上N=100时达到峰值91.6%。
• AMPCNN中的注意力机制相比APCNN更参数高效且运行更快，后者采用非线性双线性形式且需要更多参数。