[论文解读] Reading Comprehension using Entity-based Memory Network

Xun Wang, Katsuhito Sudoh+4 more|arXiv (Cornell University)|Dec 12, 2016

Topic Modeling参考文献 26被引用 3

一句话总结

本文提出了一种基于实体的记忆网络（EntityMNN），通过在记忆池中动态更新实体状态来表示文本，从而在长上下文上实现细粒度推理，提升阅读理解性能。该模型在多个问答基准测试中达到最先进水平，包括在MCTest数据集的MC160和MC500子集上分别取得76.1%和76.6%的平均准确率，优于先前方法，且无需依赖复杂语义特征。

ABSTRACT

This paper introduces a novel neural network model for question answering, the \emph{entity-based memory network}. It enhances neural networks' ability of representing and calculating information over a long period by keeping records of entities contained in text. The core component is a memory pool which comprises entities' states. These entities' states are continuously updated according to the input text. Questions with regard to the input text are used to search the memory pool for related entities and answers are further predicted based on the states of retrieved entities. Compared with previous memory network models, the proposed model is capable of handling fine-grained information and more sophisticated relations based on entities. We formulated several different tasks as question answering problems and tested the proposed model. Experiments reported satisfying results.

研究动机与目标

• 通过将实体作为核心信息单元而非完整句子来建模，以提升神经网络在长文本上的推理能力。
• 解决基于句子的记忆网络在捕捉文本中细粒度关系信息方面的局限性。
• 开发一种可扩展的、通用的问答框架，可在多种自然语言处理任务中应用，且无需过度依赖外部知识或复杂的特征工程。
• 在包括bAbI、MCTest和大型电影评论在内的多样化数据集上评估模型的有效性，以证明其鲁棒性和泛化能力。

提出的方法

• 该模型构建一个由实体状态组成记忆池，每个实体的表征根据输入文本逐步更新。
• 输入句子被解析以提取实体及其关系，随后用于更新记忆池中对应实体状态。
• 在问答过程中，模型通过基于相似度的检索机制将问题向量与实体状态匹配，以检索相关实体。
• 通过响应模块聚合检索到的实体状态信息来预测答案，从而实现实体级关系的推理。
• 模型通过梯度下降端到端训练，以最小化预测答案与真实答案之间的交叉熵损失。
• 该方法支持开放域问答和多项选择问答，通过将每个答案选项视为需通过实体状态分析验证的假设来实现。

实验结果

研究问题

• RQ1 与基于句子的记忆网络相比，通过实体状态建模文本是否能提升问答任务中的推理性能？
• RQ2 基于实体的记忆网络在阅读理解任务中处理细粒度关系和长上下文理解方面表现如何？
• RQ3 该模型是否能在无需大量特征工程或外部知识的情况下，泛化到多样化数据集？
• RQ4 在MCTest和IMDB等标准基准上，基于实体的方法是否优于现有最先进模型？

主要发现

• 基于实体的记忆网络在MCTest数据集的MC160子集上达到76.1%的平均准确率，在MC500子集上达到76.6%，优于先前最先进方法。
• 在大型电影评论数据集上，该模型达到97.2%的准确率，超越了使用更复杂架构和特征的先前最先进模型。
• 该模型在bAbI数据集上表现优异，表明其在处理多样化推理任务（包括需要多跳推理的任务）方面的有效性。
• 结果表明，基于实体的推理能够更好地捕捉细粒度信息和复杂关系，即使在无外部知识或丰富语义特征的情况下也能提升性能。
• 该模型在不同语言和任务中表现出强鲁棒性，通过进一步扩展，具有在低资源或省略主语语言中轻松适配的潜力。