[论文解读] Recurrent Event Network : Global Structure Inference Over Temporal Knowledge Graph

Woojeong Jin, He Jiang+5 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 17被引用 26

一句话总结

本文提出了一种新型自回归模型——循环事件网络（RE-Net），该模型在时间知识图谱上执行全局、序列化的结构推断，以预测未来的多关系事件。通过将循环事件编码器与邻域聚合器结合，并在训练中使用教师强制策略，RE-Net能够捕捉时间依赖性和结构依赖性，在五个公开数据集上的多步未来事件预测任务中表现出色。

ABSTRACT

Modeling dynamically-evolving, multi-relational graph data has received a surge of interests with the rapid growth of heterogeneous event data. However, predicting future events on such data requires global structure inference over time and the ability to integrate temporal and structural information, which are not yet well understood. We present Recurrent Event Network (RE-Net), a novel autoregressive architecture for modeling temporal sequences of multi-relational graphs (e.g., temporal knowledge graph), which can perform sequential, global structure inference over future time stamps to predict new events. RE-Net employs a recurrent event encoder to model the temporally conditioned joint probability distribution for the event sequences, and equips the event encoder with a neighborhood aggregator for modeling the concurrent events within a time window associated with each entity. We apply teacher forcing for model training over historical data, and infer graph sequences over future time stamps by sampling from the learned joint distribution in a sequential manner. We evaluate the proposed method via temporal link prediction on five public datasets. Extensive experiments demonstrate the strength of RE-Net, especially on multi-step inference over future time stamps. Code and data can be found at this https URL .

研究动机与目标

• 解决在动态演化、多关系图数据中预测未来事件的挑战。
• 通过整合时间信息与结构信息，实现在未来时间戳上的全局结构推断。
• 建模基于时间演化的事件序列的联合概率分布。
• 通过捕捉时间窗口内并发事件，提升多步未来事件预测性能。
• 开发一种可扩展的自回归架构，能够从历史序列中学习并生成未来图状态。

提出的方法

• RE-Net采用循环事件编码器，以建模事件序列在时间条件下的联合概率分布。
• 在事件编码器中集成邻域聚合器，以捕捉每个实体在时间窗口内关联的并发事件。
• 在训练过程中应用教师强制策略，利用历史数据序列稳定学习过程。
• 通过从学习到的联合分布中进行序列采样，生成未来图序列。
• 模型端到端训练，通过时间上自回归地生成事件序列来预测未来事件。
• 该架构支持具有动态结构演化的多关系时间知识图谱数据。

实验结果

研究问题

• RQ1 循环架构能否有效建模时间知识图谱中事件序列的联合概率分布？
• RQ2 该模型在多个未来时间步上推断全局结构变化的能力如何？
• RQ3 引入邻域聚合是否能提升对并发事件的预测性能？
• RQ4 教师强制在多大程度上提升了训练稳定性与预测准确性？
• RQ5 在多步时间链接预测任务中，RE-Net相较于现有方法表现如何？

主要发现

• RE-Net在五个公开数据集上的多步时间链接预测任务中达到最先进性能。
• 得益于其全局结构推断机制，该模型在长时程未来事件预测方面展现出卓越能力。
• 引入邻域聚合显著提升了在时间窗口内并发事件预测的性能。
• 教师强制策略带来了更稳定的训练过程，并提升了未来序列生成的泛化能力。
• 自回归设计能够有效实现高结构一致性的未来图状态序列生成。
• RE-Net优于现有方法，尤其在需要对多个未来时间步进行推断的场景中表现更优。