[论文解读] Temporal Knowledge Graph Reasoning Based on Evolutional Representation Learning

Zixuan Li, Xiaolong Jin+6 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Graph Neural Networks参考文献 41被引用 14

一句话总结

该论文提出RE-GCN，一种结合图卷积网络（GCN）与门控循环单元的循环演化网络，用于建模时间相邻知识图谱中并发事实的结构依赖关系以及序列模式。在时间知识图谱推理任务中，该方法实现了最先进性能，相比先前方法在MRR上最高提升11.46%，推理速度提升82倍，同时通过引入静态实体属性以增强表征学习。

ABSTRACT

Knowledge Graph (KG) reasoning that predicts missing facts for incomplete KGs has been widely explored. However, reasoning over Temporal KG (TKG) that predicts facts in the future is still far from resolved. The key to predict future facts is to thoroughly understand the historical facts. A TKG is actually a sequence of KGs corresponding to different timestamps, where all concurrent facts in each KG exhibit structural dependencies and temporally adjacent facts carry informative sequential patterns. To capture these properties effectively and efficiently, we propose a novel Recurrent Evolution network based on Graph Convolution Network (GCN), called RE-GCN, which learns the evolutional representations of entities and relations at each timestamp by modeling the KG sequence recurrently. Specifically, for the evolution unit, a relation-aware GCN is leveraged to capture the structural dependencies within the KG at each timestamp. In order to capture the sequential patterns of all facts in parallel, the historical KG sequence is modeled auto-regressively by the gate recurrent components. Moreover, the static properties of entities such as entity types, are also incorporated via a static graph constraint component to obtain better entity representations. Fact prediction at future timestamps can then be realized based on the evolutional entity and relation representations. Extensive experiments demonstrate that the RE-GCN model obtains substantial performance and efficiency improvement for the temporal reasoning tasks on six benchmark datasets. Especially, it achieves up to 11.46\% improvement in MRR for entity prediction with up to 82 times speedup comparing to the state-of-the-art baseline.

研究动机与目标

• 为解决时间知识图谱（TKG）中未来事实预测的挑战，该任务在有效性与效率方面仍缺乏充分探索。
• 在统一框架中同时捕捉每个时间戳内并发事实的结构依赖关系，以及时间相邻事实之间的序列模式。
• 通过整合实体类型、位置等静态实体属性作为背景知识，提升表征学习效果。
• 在显著提升效率的同时，实现高性能的时间推理，超越现有最先进模型。

提出的方法

• 使用关系感知GCN对每个时间戳的KG内部结构依赖关系进行建模，捕捉局部实体与关系的交互。
• 采用带时间门组件的门控循环单元（GRU）自回归地建模历史KG序列，学习长程序列模式。
• 时间门循环组件通过选择性地更新隐藏状态，缓解深层GCN堆叠中的梯度消失与过平滑问题。
• 引入静态图约束组件，整合静态实体属性（如类型、位置）以丰富初始实体表征。
• 通过时间戳的迭代更新，实现实体与关系的演化表征学习，利用得分函数实现未来事实预测。
• 通过端到端训练，在时间KG序列上联合优化实体与关系预测任务。

实验结果

研究问题

• RQ1 统一模型能否有效捕捉时间知识图谱中并发事实的结构依赖关系以及时间相邻事实间的序列模式？
• RQ2 在时间推理中，整合如类型与位置等静态实体属性在演化表征学习中起到何种改善作用？
• RQ3 时间门循环组件在建模时间知识图谱中长历史序列方面，其增强效果有多大？
• RQ4 所提方法在时间推理任务中，能否在性能与效率上均超越现有最先进基线？

主要发现

• 在ICEWS18数据集上，RE-GCN在实体预测任务中相比最先进基线RE-NET，MRR最高提升11.46%。
• 与RE-NET相比，该模型在实体预测任务中推理速度最高提升82倍，显著提升推理效率。
• 消融实验表明，时间门循环组件至关重要，其移除后在长序列上性能迅速下降。
• 随着一跳邻居数量与关系数量的增加，性能下降，表明在高复杂度场景下面临挑战。
• 由于静态图约束与共享初始表征，该模型在未见实体与关系上仍具有良好的泛化能力，即使不存在直接历史交互。
• 案例研究证实，RE-GCN成功学习到复杂模式，包括多步序列依赖关系以及跨时间戳的结构影响。