[论文解读] Recurrent One-Hop Predictions for Reasoning over Knowledge Graphs

Wenpeng Yin, Yadollah Yaghoobzadeh+1 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Graph Neural Networks参考文献 18被引用 4

一句话总结

本文提出 ROP（Recurrent One-Hop Predictors），一种基于 RNN 的新颖框架，通过使用循环神经网络逐步预测实体，对多跳知识图谱（KG）路径进行建模。通过在每个跳跃步骤中利用训练信号更新实体和关系嵌入，ROP 在多跳知识库补全和路径查询回答任务上均达到最先进性能，显著将 Hits at 10（H@10）提升最多达 6%（在增强数据集上）。

ABSTRACT

Large scale knowledge graphs (KGs) such as Freebase are generally incomplete. Reasoning over multi-hop (mh) KG paths is thus an important capability that is needed for question answering or other NLP tasks that require knowledge about the world. mh-KG reasoning includes diverse scenarios, e.g., given a head entity and a relation path, predict the tail entity; or given two entities connected by some relation paths, predict the unknown relation between them. We present ROPs, recurrent one-hop predictors, that predict entities at each step of mh-KB paths by using recurrent neural networks and vector representations of entities and relations, with two benefits: (i) modeling mh-paths of arbitrary lengths while updating the entity and relation representations by the training signal at each step; (ii) handling different types of mh-KG reasoning in a unified framework. Our models show state-of-the-art for two important multi-hop KG reasoning tasks: Knowledge Base Completion and Path Query Answering.

研究动机与目标

• 解决在不完整知识图谱中对长且任意长度的多跳路径进行推理的挑战。
• 将多种多跳 KG 推理任务（如知识库补全和路径查询回答）统一于单一、端到端可训练的框架之下。
• 通过在路径的每个跳跃步骤中引入训练信号，而非仅在最终预测时，提升实体和关系表示学习的质量。
• 证明在路径查询回答中建模中间实体的重要性，其中实体上下文会影响关系预测。
• 发布 BaseKGP 数据集的增强版本，包含路径内的实体，以支持未来研究。

提出的方法

• ROP 使用循环神经网络（RNN）按顺序逐个处理多跳 KG 路径中的关系序列，以预测相应的中间实体序列。
• 在每个步骤中，模型利用当前关系的嵌入和上一oreda 的隐藏状态，预测下一个实体，并相应地更新隐藏状态。
• 提出了三种架构：ROP_ARC1、ROP_ARC2 和 ROP_ARC3，其区别在于如何将头实体和先前预测结果整合到隐藏状态中以进行实体预测。
• ROP_ARC2 通过在每个步骤中直接将头实体表示与 RNN 的隐藏状态结合，提升了性能，确保即使在长路径中，起始实体的影响依然显著。
• ROP_ARC3 进一部通过在下一步输入中引入先前预测实体的嵌入，进一步增强预测效果，利用了近期上下文信息。
• 模型采用 GRU 或 eGRU（增强 GRU）以改善梯度流动和表达能力，优于简单的加法（ADD）机制。

实验结果

研究问题

• RQ1 循环神经网络能否在保持强大推理性能的同时，有效建模长度任意的多跳 KG 路径？
• RQ2 在每个步骤中引入中间实体和关系的训练信号，是否能提升实体和关系嵌入的质量？
• RQ3 单一统一框架能否有效处理多跳知识库补全和路径查询回答两类任务？
• RQ4 在路径查询回答中，包含中间实体如何影响推理性能，特别是在关系非对称时？
• RQ5 不同 RNN 架构（如 GRU 与 ADD）以及注意力机制在多大程度上影响预测准确率？

主要发现

• ROP_ARC3 搭配 eGRU 在增强版 BaseKGP 数据集上实现了新的 SOTA H@10（56.7%），相比先前基线模型提升 6%。
• ROP_ARC2（GRU）在 BaseKGP 上达到 54.9% H@10，在 EnhancedKGP 上达到 56.3% H@10，相比 Comp-TransE 在 H@10 上提升超过 4%。
• 在偶数长度路径上的性能下降与反向关系的存在高度相关（rho > 0.9），表明 1-to-N 反向关系建模存在挑战。
• 在每个步骤的预测中直接传递头实体（ROP_ARC2）优于仅将其用作初始隐藏状态（ROP_ARC1），表明头实体的长程影响至关重要。
• 引入先前预测实体（ROP_ARC3）进一步提升了结果，表明近期上下文对长路径中准确实体预测至关重要。
• eGRU 变体始终优于 ADD 机制，凸显门控机制在捕捉 KG 推理中长程依赖关系方面的重要性。