[论文解读] T-GAP: Learning to Walk across Time for Temporal Knowledge Graph Completion

Jaehun Jung, Jinhong Jung+1 more|arXiv (Cornell University)|Dec 19, 2020

Advanced Graph Neural Networks参考文献 27被引用 10

一句话总结

T-GAP 提出了一种新颖的时间知识图谱补全模型，通过利用查询特定的时间位移和基于注意力的路径传播，提升对时间感知知识图谱的推理能力。该模型通过动态聚焦于与查询时间戳相关的过去和未来事件，实现了最先进（SOTA）的性能表现以及更优的可解释性。

ABSTRACT

Temporal knowledge graphs (TKGs) inherently reflect the transient nature of real-world knowledge, as opposed to static knowledge graphs. Naturally, automatic TKG completion has drawn much research interests for a more realistic modeling of relational reasoning. However, most of the existing mod-els for TKG completion extend static KG embeddings that donot fully exploit TKG structure, thus lacking in 1) account-ing for temporally relevant events already residing in the lo-cal neighborhood of a query, and 2) path-based inference that facilitates multi-hop reasoning and better interpretability. In this paper, we propose T-GAP, a novel model for TKG completion that maximally utilizes both temporal information and graph structure in its encoder and decoder. T-GAP encodes query-specific substructure of TKG by focusing on the temporal displacement between each event and the query times-tamp, and performs path-based inference by propagating attention through the graph. Our empirical experiments demonstrate that T-GAP not only achieves superior performance against state-of-the-art baselines, but also competently generalizes to queries with unseen timestamps. Through extensive qualitative analyses, we also show that T-GAP enjoys from transparent interpretability, and follows human intuition in its reasoning process.

研究动机与目标

• 解决现有静态知识图谱嵌入模型在捕捉时间知识图谱（TKG）中时间动态与结构上下文方面的局限性。
• 通过编码与查询时间戳相关的事件间时间位移的子结构，改进时间知识图谱补全。
• 通过软性、基于注意力的图结构传播实现基于路径的推理，提升可解释性与多跳推理能力。
• 通过建模相对时间位置而非绝对时间戳，确保模型对未见查询时间戳的泛化能力。
• 通过分析时间感知路径上的注意力分布，提供透明且符合人类直觉的推理过程。

提出的方法

• 引入一种时间图神经网络（GNN）编码器，分别编码每条边与查询时间戳之间的时间位移符号（过去/当前/未来）与大小。
• 使用查询特定的注意力机制聚合邻域信息，聚焦于与查询时间在时间上相关的事件。
• 通过注意力流传播实现软性基于路径的推理机制，其中注意力从节点向邻居扩散，而非选择单一路径。
• 采用端到端监督学习进行训练，实现编码与解码组件的联合优化。
• 通过在边上传播注意力实现时间推理，使模型能够通过多步推理纠正初始选择中的次优判断。
• 使用时间谓词（如 occurSince、occurUntil）编码关系语义，引导注意力聚焦于时间上一致且上下文相关的事实。

实验结果

研究问题

• RQ1 建模时间位移（事件与查询之间的时间相对性）是否能提升时间知识图谱补全模型的性能？
• RQ2 与静态嵌入模型相比，基于注意力的路径传播是否能实现更有效且更具可解释性的多跳推理？
• RQ3 通过依赖相对时间定位，时间知识图谱模型是否能泛化到未见的时间戳查询？
• RQ4 T-GAP 中的注意力分布在多大程度上反映了人类类比的时间关系推理模式？
• RQ5 T-GAP 的注意力机制在推理过程中如何纠正路径选择中的初始误判？

主要发现

• T-GAP 在三个基准数据集（ICEWS14、ICEWS15、YAGO15K）上的时间知识图谱补全任务中均达到最先进（SOTA）性能，优于现有 SOTA 模型。
• 该模型对未见时间戳的查询具有良好的泛化能力，表现出对时间查询分布偏移的鲁棒性。
• 定性分析表明，T-GAP 的注意力分布高度可解释，注意力集中于时间相关的事件，如过去的威胁或未来的隶属关系。
• 在案例研究中，T-GAP 通过多步注意力传播纠正了初始误判——例如，在地缘政治威胁查询中，注意力从日本转移至韩国。
• 对于 member_of_sports_team-occurUntil 等关系，T-GAP 优先关注过去事件，与人类直觉一致，以找到最后已知的隶属关系。
• 对于 educated_at-occurSince 等关系，T-GAP 关注未来事件，正确识别出查询时间之后的第一个所属机构，体现出与时间逻辑的一致性。