[论文解读] RelNet: End-to-End Modeling of Entities & Relations

Trapit Bansal, Arvind Neelakantan+1 more|arXiv (Cornell University)|Jan 1, 2017

Topic Modeling参考文献 31被引用 20

一句话总结

RelNet 是一种端到端的内存增强神经网络，通过关系记忆将实体建模为动态内存槽，实现在文本上的结构化推理。它在 20 个 bAbI 任务中的 11 个上达到 0% 错误率，平均错误率为 0.3%，优于先前的 EntNet 模型，在 10k 个样本的设置下表现更优。

ABSTRACT

We introduce RelNet: a new model for relational reasoning. RelNet is a memory augmented neural network which models entities as abstract memory slots and is equipped with an additional relational memory which models relations between all memory pairs. The model thus builds an abstract knowledge graph on the entities and relations present in a document which can then be used to answer questions about the document. It is trained end-to-end: only supervision to the model is in the form of correct answers to the questions. We test the model on the 20 bAbI question-answering tasks with 10k examples per task and find that it solves all the tasks with a mean error of 0.3%, achieving 0% error on 11 of the 20 tasks.

研究动机与目标

• 开发一种端到端的神经网络，直接在文本中建模实体与关系，而无需依赖外部知识或流水线 NLP 组件。
• 通过在统一的记忆架构中整合实体与关系建模，解决传统流水线方法中的错误累积问题。
• 通过引入专门的关系记忆组件，实现神经网络中的关系推理，该组件可追踪实体之间的成对交互。
• 仅使用问题-答案监督进行端到端训练，无需显式的图注释或外部知识库。
• 在 bAbI 问答基准上展示优于先前内存增强模型的性能。

提出的方法

• 该模型采用内存增强架构，包含两个核心组件：实体记忆（用于实体的动态键值槽）和关系记忆（用于实体之间成对关系的 D² 个槽）。
• 实体记忆通过门控机制更新，该机制基于输入句子嵌入的注意力机制，选择相关槽位，使用可学习的乘法掩码。
• 关系记忆通过门控机制更新，该机制基于活动实体记忆与当前句子输入之间的交互，激活关系槽位。
• 关系记忆的更新使用输入句子的 PReLU 激活变换，以及应用于关系记忆槽位的可学习矩阵。
• 输出模块在问题嵌入的条件控制下，对实体记忆和关系记忆向量进行注意力计算，以生成最终答案。
• 每次更新后对所有记忆状态进行归一化，以防止梯度爆炸，并起到遗忘机制的作用。

实验结果

研究问题

• RQ1 具有显式关系记忆的内存增强神经网络是否能在关系推理任务上优于仅孤立建模实体的模型？
• RQ2 仅使用问题-答案监督进行端到端训练，是否能有效学习到文本中的实体状态与实体间关系？
• RQ3 一种联合建模实体与关系的统一记忆架构，是否能相比流水线 NLP 系统减少错误累积？
• RQ4 关系记忆的引入如何提升 bAbI 基准中多跳推理与复杂关系任务的性能？
• RQ5 该模型在仅从原始文本中隐式学习结构化知识图谱式表示方面，能达到何种程度？

主要发现

• RelNet 在 20 个 bAbI 任务上的平均错误率为 0.3%，优于先前的 SOTA 模型 EntNet（平均错误率为 0.5%）。
• 该模型在 20 个 bAbI 任务中的 11 个上达到 0% 错误率，而 EntNet 基线仅达到 7 个。
• 在第 19 个任务（路径查找）中，RelNet 将错误率从 EntNet 的 2.3% 降低至 0%，展现出在复杂关系推理任务中的强大性能。
• 该模型在所有涉及简单指代消解、是/否问题和基本演绎推理的任务上均达到 0% 错误率，表明其在基础推理类型上的鲁棒性。
• 关系记忆的引入在需要多跳推理和关系推理的任务（如任务 3、5、14 和 18）中带来显著性能提升。
• 消融实验证明，关系记忆对高性能至关重要，因为它为实体之间的结构化、图式推理提供了归纳偏置。