[论文解读] xERTE: Explainable Reasoning on Temporal Knowledge Graphs for Forecasting Future Links

Zhen Han, Peng Chen+2 more|arXiv (Cornell University)|Dec 31, 2020

Advanced Graph Neural Networks参考文献 44被引用 18

一句话总结

xERTE 是一种新颖的可解释性推理框架，用于通过迭代扩展查询相关子图来预测时间知识图谱中的未来链接。该框架采用时间关系图注意力机制和反向表示更新方案，实现了最先进性能，在 Hits@1 上最高实现 20% 的相对提升，同时通过基于子图的推理和时间感知注意力机制提供人类可理解的证据。

ABSTRACT

Modeling time-evolving knowledge graphs (KGs) has recently gained increasing interest. Here, graph representation learning has become the dominant paradigm for link prediction on temporal KGs. However, the embedding-based approaches largely operate in a black-box fashion, lacking the ability to interpret their predictions. This paper provides a link forecasting framework that reasons over query-relevant subgraphs of temporal KGs and jointly models the structural dependencies and the temporal dynamics. Especially, we propose a temporal relational attention mechanism and a novel reverse representation update scheme to guide the extraction of an enclosing subgraph around the query. The subgraph is expanded by an iterative sampling of temporal neighbors and by attention propagation. Our approach provides human-understandable evidence explaining the forecast. We evaluate our model on four benchmark temporal knowledge graphs for the link forecasting task. While being more explainable, our model obtains a relative improvement of up to 20% on Hits@1 compared to the previous best KG forecasting method. We also conduct a survey with 53 respondents, and the results show that the evidence extracted by the model for link forecasting is aligned with human understanding.

研究动机与目标

• 解决基于嵌入的黑箱模型在时间知识图谱链接预测中可解释性不足的问题。
• 通过提取围绕查询的紧凑且富含证据的子图，实现透明、人类可理解的推理。
• 建模知识图谱中的结构依赖关系与时间动态，以提升预测准确性。
• 通过使子图中的实体能够接收来自新添加的先前邻居的消息，模拟人类推理过程。
• 开发一种支持因果性、时间受限推理的框架，同时保持高预测性能。

提出的方法

• 提出时间关系图注意力（TRGA）机制，仅从先前时间邻居（即在查询时间戳之前连接的实体）聚合消息，以保持因果性。
• 引入反向表示更新方案，将消息从最远的先前邻居传播至子图中所有实体，实现动态信念更新。
• 采用混合实体嵌入模块，结合静态实体嵌入与函数型时间编码，以同时建模结构与时间动态。
• 通过基于 TRGA 机制注意力分数的引导，迭代扩展子图，采样相关边并剪枝低注意力路径。
• 通过在子图中传播注意力构建推理路径，以预测查询（主体，谓词，？，时间戳）中缺失的对象。
• 通过强制消息仅从较早时间戳传递到较晚时间戳，确保时间一致性，维持推理中的因果顺序。

实验结果

研究问题

• RQ1 基于子图的推理框架是否能在提供人类可解释性解释的同时，实现高水平的预测性能，用于时间知识图谱的链接预测？
• RQ2 引入时间感知注意力机制在多大程度上提升了模型捕捉时间动态与因果依赖关系的能力？
• RQ3 反向表示更新机制在多大程度上通过使实体能够整合来自遥远先前邻居的新证据，增强了推理能力？
• RQ4 模型生成的解释在多大程度上与人类对时间推理的直觉和理解相一致？
• RQ5 时间编码对注意力分数及推理过程可解释性有何影响？

主要发现

• 与之前最先进方法相比，xERTE 在时间知识图谱链接预测任务中，Hits@1 的相对提升最高达 20%。
• 经 53 名受访者评估，模型生成的基于子图的解释与人类理解高度一致，其证据的相关性与可解释性获得高度认可。
• 使用时间编码时，时间感知注意力分数显著更具可解释性且时间上一致，近期事件获得更高的注意力分数。
• 若不使用时间编码，同一三元组在不同时间戳的注意力分数变得随机且不一致，严重损害可解释性。
• 反向表示更新机制使来自新添加的先前邻居的证据传播更加有效，提升了推理的完整性。
• 消融实验表明，时间编码对建模时间动态至关重要，其移除会导致注意力模式非直观且不稳定。