[论文解读] Temporal Knowledge Graph Completion with Time-sensitive Relations in Hypercomplex Space

Li Cai, Xin Mao+5 more|arXiv (Cornell University)|Mar 2, 2024

Cognitive Computing and Networks被引用 4

一句话总结

本文提出TQuatE，一种新颖的时间知识图谱补全模型，通过在超复数空间中利用四元数嵌入，结合时间感知旋转与周期性时间平移，捕捉对时间敏感的关系。通过利用更强的表征能力建模动态关系模式，TQuatE在ICEWS14、ICEWS05-15和GDELT数据集上均取得最先进性能，显著优于现有方法，尤其在处理复杂的时间可变性方面表现突出。

ABSTRACT

Temporal knowledge graph completion (TKGC) aims to fill in missing facts within a given temporal knowledge graph at a specific time. Existing methods, operating in real or complex spaces, have demonstrated promising performance in this task. This paper advances beyond conventional approaches by introducing more expressive quaternion representations for TKGC within hypercomplex space. Unlike existing quaternion-based methods, our study focuses on capturing time-sensitive relations rather than time-aware entities. Specifically, we model time-sensitive relations through time-aware rotation and periodic time translation, effectively capturing complex temporal variability. Furthermore, we theoretically demonstrate our method's capability to model symmetric, asymmetric, inverse, compositional, and evolutionary relation patterns. Comprehensive experiments on public datasets validate that our proposed approach achieves state-of-the-art performance in the field of TKGC.

研究动机与目标

• 为解决现有TKGC方法在建模超越静态或时间感知实体的动态、时变关系方面的局限性。
• 通过利用超复数空间中更丰富的结构，特别是四元数，增强时间关系的表征能力。
• 通过四元数空间中的几何运算，建模关系中的对称性、非对称性、逆关系、复合关系及演化等复杂时间模式。
• 通过引入周期性时间平移，消除对超参数敏感的时间窗口依赖，实现更鲁棒的时间建模。
• 在标准TKGC基准上实现最先进性能，同时为建模多样化关系模式提供理论依据。

提出的方法

• 模型使用四元数嵌入表示实体、关系和时间戳，每个嵌入包含一个实部和三个虚部。
• 通过四元数的哈密顿乘积实现时间感知旋转，以捕捉实体与关系之间的局部时间交互。
• 引入周期性时间平移以建模时间窗口内的重复时间模式，替代传统依赖超参数的固定时间窗口。
• 通过在超复数空间中应用旋转和平移操作，将时间动态整合到关系表示中，实现关系的动态演化。
• 理论分析表明，该模型能够表示对称、非对称、逆关系、复合关系及演化关系等模式。
• 采用包含嵌入正则化与时间正则化项的联合损失函数进行模型优化，超参数通过消融实验调优。

Figure 1: Subgraph example from ICEWS14 dataset for TKGC. Nodes on the graph represent entities, including Obama, Japan, South Korea, North Korea, and edges signify relations (with timestamps in parentheses), encompassing Host a visit, Make a visit, Express intent to meet or negotiate, Engage in neg

实验结果

研究问题

• RQ1 与实数或复数空间方法相比，超复数空间中的四元数表示是否能更优地建模时间敏感关系？
• RQ2 时间感知旋转与周期性时间平移在捕捉动态知识图谱中的局部与重复时间模式方面，效果如何？
• RQ3 所提出方法在包含ICEWS14、ICEWS05-15和GDELT等不同复杂度的时间数据集上是否具备良好的泛化能力？
• RQ4 消除对固定时间窗口的依赖在多大程度上提升了模型的鲁棒性与性能？
• RQ5 该模型在理论上具备多大能力来表示对称性、逆关系与复合关系等基本关系模式？

主要发现

• TQuatE在ICEWS14上达到最先进性能，MRR为0.639，Hits@10为0.787，优于先前最先进模型。
• 消融实验表明，周期性时间建模显著提升性能，当其被移除时MRR下降至0.629。
• 在嵌入维度为2000时达到最优性能，超过该点后收益递减。
• 最优正则化权重为λₑ ≈ 0.005和λₜ ≈ 0.1，表明时间正则化影响更强。
• 尽管计算成本更高（2011秒 vs. TeAST的1487秒），TQuatE仍实现微小但显著的MRR提升（0.639 vs. 0.637），验证其有效性。
• TQuatE的参数量与TeAST相当，但因四元数在建模时间动态方面更强的表征能力，性能更优。

Figure 2: TKGC performance for different embedding dimensions $d$ on ICEWS14.