[论文解读] TeMP: Temporal Message Passing for Temporal Knowledge Graph Completion

Jiapeng Wu, Meng Cao+2 more|arXiv (Cornell University)|Oct 7, 2020

Advanced Graph Neural Networks参考文献 36被引用 16

一句话总结

TeMP 提出了一种新颖的时序知识图谱补全框架，通过结合图神经网络与时序消息传递，利用多跳结构信息和时变事实。通过整合基于频率的门控机制与数据插补技术，TeMP 在三个基准数据集上的 Hits@10 平均相对性能提升达 10.7%，优于先前的最先进方法。

ABSTRACT

Inferring missing facts in temporal knowledge graphs (TKGs) is a fundamental and challenging task. Previous works have approached this problem by augmenting methods for static knowledge graphs to leverage time-dependent representations. However, these methods do not explicitly leverage multi-hop structural information and temporal facts from recent time steps to enhance their predictions. Additionally, prior work does not explicitly address the temporal sparsity and variability of entity distributions in TKGs. We propose the Temporal Message Passing (TeMP) framework to address these challenges by combining graph neural networks, temporal dynamics models, data imputation and frequency-based gating techniques. Experiments on standard TKG tasks show that our approach provides substantial gains compared to the previous state of the art, achieving a 10.7% average relative improvement in Hits@10 across three standard benchmarks. Our analysis also reveals important sources of variability both within and across TKG datasets, and we introduce several simple but strong baselines that outperform the prior state of the art in certain settings.

研究动机与目标

• 解决现有方法在捕捉时序知识图谱（TKGs）中多跳结构依赖与时间依赖方面的局限性。
• 应对时间稀疏性与可变性问题，即实体活动与参考信息随时间步长波动。
• 通过显式建模时序动态与从近期快照中传播的结构信息，提升预测性能。
• 开发稳健技术，以在时间稀疏环境下表示不活跃或低频实体。
• 构建统一框架，整合消息传递、时序建模与数据插补技术，用于 TKGC。

提出的方法

• 使用图神经网络（GNNs）在每个时间步聚合实体与关系之间的多跳结构信息。
• 集成时序消息传递机制，将表示在相邻时间步之间传播，以捕捉时序动态。
• 应用基于频率的门控机制，根据实体与关系的出现频率动态加权过去事实的贡献。
• 采用数据插补技术，为不活跃或低频实体在各时间步生成代表性嵌入。
• 将基于 GNN 的结构编码与时间感知评分函数相结合，预测缺失事实（即 (主体, 关系, 客体, 时间戳) 四元组）。
• 使用负采样比例为 500 的策略进行模型优化，并在标准 TKGC 基准上通过反向传播端到端训练。

实验结果

研究问题

• RQ1 与静态或浅层时序模型相比，整合多跳结构与时间信息在 TKGC 性能上带来了多大提升？
• RQ2 基于频率的门控与数据插补在多大程度上缓解了真实世界 TKG 中的时间稀疏性与可变性影响？
• RQ3 在时间稀疏性不同的数据集中，消息传递、门控与插补等模型组件的贡献有何差异？
• RQ4 在某些场景下，像 TED 这类简单的基于规则的基线方法（通过复制邻近时间步的事实）是否能超越更复杂的模型？
• RQ5 影响模型泛化能力与性能的关键时序知识图谱变异来源是什么？

主要发现

• TeMP 在三个标准基准数据集 ICEWS14、ICEWS05-15 和 GDELT 上，Hits@10 的平均相对性能提升达 10.7%，优于先前最先进方法。
• 与同一基准上表现最佳的模型相比，该模型在 Hits@10 上实现了 7.3% 的平均相对提升，展现出强大的泛化能力。
• 细致的消融研究显示，消息传递与基于频率的门控机制贡献显著，尤其在低稀疏性时序环境中。
• 所提出的 TED 基于规则的基线在特定场景下优于多个复杂模型，凸显了时间邻近性与事实复制的重要性。
• 分析确认，时间稀疏性（即每个时间步仅有 2–4% 的实体处于活跃状态）显著影响模型性能与各组件的有效性。
• 数据插补能有效提升低频与不活跃实体的表示质量，减少图谱稀疏区域的性能下降。