[论文解读] TeRo: A Time-aware Knowledge Graph Embedding via Temporal Rotation

Chengjin Xu, Mojtaba Nayyeri+3 more|arXiv (Cornell University)|Oct 2, 2020

Advanced Graph Neural Networks参考文献 26被引用 10

一句话总结

TeRo 提出了一种时间感知的知识图谱嵌入模型，通过复数向量空间中的旋转来建模时间演化，并使用双复数嵌入表示涉及时间区间的关联。该模型在四个时间知识图谱（TKG）上的链接预测任务中显著优于当前最先进模型，并展示了时间粒度在时间推理中的重要性。

ABSTRACT

In the last few years, there has been a surge of interest in learning representations of entitiesand relations in knowledge graph (KG). However, the recent availability of temporal knowledgegraphs (TKGs) that contain time information for each fact created the need for reasoning overtime in such TKGs. In this regard, we present a new approach of TKG embedding, TeRo, which defines the temporal evolution of entity embedding as a rotation from the initial time to the currenttime in the complex vector space. Specially, for facts involving time intervals, each relation isrepresented as a pair of dual complex embeddings to handle the beginning and the end of therelation, respectively. We show our proposed model overcomes the limitations of the existing KG embedding models and TKG embedding models and has the ability of learning and inferringvarious relation patterns over time. Experimental results on four different TKGs show that TeRo significantly outperforms existing state-of-the-art models for link prediction. In addition, we analyze the effect of time granularity on link prediction over TKGs, which as far as we know hasnot been investigated in previous literature.

研究动机与目标

• 为解决现有知识图谱嵌入模型在处理时间动态性和时间推理方面的局限性。
• 开发一种能够学习并推断时间知识图谱（TKG）中多样化时间关系模式的模型。
• 探究时间粒度对 TKG 中链接预测性能的影响，这一因素在以往文献中尚未被探索。
• 通过双复数嵌入高效表示时间区间，同时显著减少数据集规模的扩展。

提出的方法

• TeRo 通过在复数向量空间中对实体嵌入从初始时间到当前时间进行旋转，来建模时间演化。
• 每条关系由一对双复数嵌入表示：一个用于起始时间（rb），一个用于结束时间（re），从而支持时间区间的建模。
• 模型使用复数向量，其中旋转编码了时间转移，能够有效建模自反关系、1-n 关系及其他复杂关系模式。
• 时间粒度根据数据集进行调优（例如，ICEWS14 中为 183 步，Wikidata12k 中为 82 步），以优化性能，且时间点与时间区间被统一处理。
• 通过使用两个四元组 (s, rb, o, tb) 和 (s, re, o, te) 表示时间区间，而非将其离散化为多个时间点，从而避免数据扩展。
• 链接预测通过使用复数旋转公式对四元组 (s, r, o, t) 进行打分来完成：r × s ≈ o，其中 r 是复平面上的旋转。

实验结果

研究问题

• RQ1 时间粒度如何影响时间知识图谱嵌入模型在链接预测中的性能？
• RQ2 复数向量空间中的基于旋转的模型能否有效捕捉并推断出包括临时关系和自反关系在内的多种时间关系模式？
• RQ3 TeRo 在不同时间标注格式的时间知识图谱上，与最先进的时间知识图谱嵌入（KGE 和 TKGE）模型相比，在链接预测任务中的表现如何？
• RQ4 为关系的起始和结束时间使用双复数嵌入，是否能提升时间区间事实的建模效率与性能？

主要发现

• TeRo 在四个 TKG 上的链接预测任务中显著优于所有基线模型，包括最先进的时间知识图谱嵌入（KGE 和 TKGE）模型：ICEWS14、ICEWS05-15、YAGO11k 和 Wikidata12k。
• 在 ICEWS14 上，TeRo 的 Hits@10 得分为 0.827，比表现第二好的模型（ATiSE）高出超过 5 个百分点。
• 该模型的性能对时间粒度高度敏感：使用 u=365（一年）时，对临时关系如 'Host a visit' 的预测出现错误，而使用 u=1（每日）或 u=30（每月）时则能正确预测。
• 对于时间区间，TeRo 的双嵌入方法避免了数据扩展，数据集规模仅增加不到 2 倍；而基线方法如 HyTE 和 ATiSE 的数据集规模则扩大了 8–15 倍。
• 嵌入差异的可视化显示，短期关系（如 'deadIn'）的 rb 和 re 在实部与虚部上高度相似，而长期关系（如 'isMarriedTo'）则表现出显著不同的虚部，反映出时间演化过程。
• TeRo 的训练时间效率高：在 ICEWS14 上每轮仅需 4.3 秒，在 YAGO11k 上仅需 1.9 秒，使用 500 维嵌入，且内存占用仅为 ATiSE 和 DE-SimplE 等最先进模型的 1.8–2.2 倍。