[论文解读] Simple and Effective Question Answering with Recurrent Neural Networks.

Ferhan Türe, Oliver Jojic|arXiv (Cornell University)|Jun 16, 2016

Topic Modeling参考文献 25被引用 7

一句话总结

本文提出了一种简单但有效的两阶段方法，用于一阶事实型问题问答，采用两个循环神经网络：一个用于实体检测，另一个用于关系分类。该方法在 WebQuestions 和 SimpleQuestions 数据集上均取得了最先进性能，相对提升分别达到 16% 和 38%，优于使用深度神经网络或复杂语言推理的复杂模型。

ABSTRACT

First-order factoid question answering assumes that the question can be answered by a single fact in a knowledge base (KB). While this does not seem like a challenging task, many recent attempts that apply either complex linguistic reasoning or deep neural networks achieve 35%-65% on benchmark sets. Our approach formulates the task as two machine learning problems: detecting the entities in the question, and classifying the question as one of the relation types in the KB. Based on this assumption of the structure, our simple yet effective approach trains two recurrent neural networks to outperform state of the art by significant margins --- relative improvement reaches 16% for WebQuestions, and surpasses 38% for SimpleQuestions.

研究动机与目标

• 解决一阶事实型问题问答的挑战，即问题需要从知识库中检索单一事实。
• 减少对复杂语言解析或深度神经架构的依赖，这些方法在基准数据集上往往表现不佳。
• 通过简化建模方法，在 WebQuestions 和 SimpleQuestions 等标准基准上提升性能。
• 证明使用 RNN 进行实体检测和关系分类的两阶段方法可超越更复杂的模型。
• 在极低的架构复杂度下实现显著的性能提升，挑战了‘更深模型才能实现高精度’的假设。

提出的方法

• 训练一个双向长短期记忆网络（Bi-LSTM）以检测问题中提及的实体。
• 训练另一个独立的 RNN 以将问题分类为知识库中存在的预定义关系类型之一。
• 利用检测到的实体和预测的关系类型，通过查找操作从知识库中检索答案。
• 利用 RNN 的序列建模能力，捕捉实体检测和关系分类中的上下文依赖关系。
• 采用联合学习框架，使两个网络在问题文本和对应的知识库事实上端到端联合训练。
• 对两个分类任务均使用交叉熵损失，同时优化实体和关系预测。

实验结果

研究问题

• RQ1 简单的两阶段 RNN 方法是否能在一阶事实型问题问答中超越复杂的神经网络和语言模型？
• RQ2 将实体检测与关系分类分离在基准数据集上的性能提升程度如何？
• RQ3 该 RNN 方法在 WebQuestions 和 SimpleQuestions 上与最先进模型相比表现如何？
• RQ4 在保持高精度的同时降低模型复杂度，是否意味着该任务并不需要复杂的架构？
• RQ5 该方法在 F1 或准确率指标上相比现有方法的相对提升是多少？

主要发现

• 该方法在 WebQuestions 基准上相比之前最先进方法实现了 16% 的相对提升。
• 在 SimpleQuestions 数据集上，该方法的相对提升超过 38%，超越了之前的最先进水平。
• 两阶段 RNN 方法优于依赖复杂神经架构或大量语言特征工程的模型。
• 该模型的性能显著优于以往使用深度网络或复杂推理流水线的方法。
• 结果表明，简单但精心设计的 RNN 可在无需复杂特征工程或深层架构的情况下实现最先进性能。
• 该方法在使用更少参数和更低计算开销的同时，保持了高精度，优于竞争模型。