[论文解读] Recurrent Event Network for Reasoning over Temporal Knowledge Graphs.

Woojeong Jin, Changlin Zhang+2 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Graph Neural Networks参考文献 24被引用 32

一句话总结

本文提出了一种新型神经架构——循环事件网络（RE-Net），通过循环事件编码器和邻域聚合器，对动态知识图谱中的时间、多关系及并发交互进行建模。该方法在四个公开的时序知识图谱数据集上实现了多步时间链接预测的最先进性能，有效捕捉了随时间推移的长程依赖关系和事件序列。

ABSTRACT

Recently, there has been a surge of interest in learning representation of graph-structured data that are dynamically evolving. However, current dynamic graph learning methods lack a principled way in modeling temporal, multi-relational, and concurrent interactions between nodes---a limitation that is especially problematic for the task of temporal knowledge graph reasoning, where the goal is to predict unseen entity relationships (i.e., events) over time. Here we present Recurrent Event Network (RE-Net)---a novel neural architecture for modeling complex event sequences---which consists of a recurrent event encoder and a neighborhood aggregator. The event encoder employs an RNN to capture (subject, relation) or (object, relation)-specific patterns from historical, multi-relational interactions between entities. The neighborhood aggregator summarizes concurrent, multi-hop entity interactions within each time stamp. An output layer is designed for predicting forthcoming events. Extensive experiments on temporal link prediction over four public TKG datasets demonstrate the effectiveness and strength of RE-Net, especially on multi-step inference over future time stamps. Code and data are published at the https://github.com/INK-USC/RE-Net { ext{GitHub repository}}.

研究动机与目标

• 为解决动态图学习中对时间、多关系及并发交互的系统性建模不足问题。
• 改进具有复杂事件序列的演化知识图谱中的多步时间链接预测。
• 设计一种能够捕捉（主体，关系）和（对象，关系）特定交互模式的神经架构。
• 在每个时间戳内总结并发、多跳实体交互，以支持更好的时间推理。
• 实现对时序知识图谱中未见未来事件的准确预测。

提出的方法

• 循环事件编码器使用 RNN 对实体之间（主体，关系）或（对象，关系）特定的历史交互模式进行建模。
• 邻域聚合器通过消息传递机制，捕捉每个时间戳下实体之间的并发、多跳交互。
• 该模型将编码的事件表示与聚合的邻域信息相结合，实现联合推理。
• 输出层利用融合的时间与关系表示，预测未来事件。
• 该架构通过端到端方式在时序知识图谱数据上进行训练，使用链接预测目标。
• 通过在时间步之间保持隐藏状态，该方法支持对多个未来时间戳的多步推理。

实验结果

研究问题

• RQ1 一种神经架构能否有效建模演化知识图谱中复杂、并发且多关系的交互？
• RQ2 与现有方法相比，RE-Net 在多步时间链接预测中的表现如何？
• RQ3 循环事件编码器在多大程度上能够捕捉事件序列中的长程依赖？
• RQ4 邻域聚合器在每个时间步如何提升对并发实体交互的推理能力？
• RQ5 将基于 RNN 的时间建模与邻域聚合相结合，是否能增强未来事件的预测性能？

主要发现

• RE-Net 在四个公开的时序知识图谱数据集上的时间链接预测任务中达到了最先进性能。
• 该模型在多个未来时间戳的多步推理中表现出色，表明其具备强大的长程依赖建模能力。
• 循环事件编码器能够有效捕捉（主体，关系）和（对象，关系）特定的随时间演变的交互模式。
• 邻域聚合器通过在每个时间步总结并发、多跳的实体交互，显著提升了推理能力。
• 消融实验确认，循环编码器与邻域聚合器均对模型整体性能有显著贡献。
• 通过大量实验验证了模型的有效性，其性能在多个强基线方法上均保持一致提升。