[论文解读] Temporal Knowledge Graph Embedding Model based on Additive Time Series Decomposition

Chengjin Xu, Mojtaba Nayyeri+3 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Graph Neural Networks参考文献 32被引用 37

一句话总结

ATiSE 将实体及关系的时间演化表示为加性时间序列，并使用高斯分布来捕捉不确定性，在四个时态知识图上实现了最先进的链接预测。

ABSTRACT

Knowledge Graph (KG) embedding has attracted more attention in recent years. Most KG embedding models learn from time-unaware triples. However, the inclusion of temporal information beside triples would further improve the performance of a KGE model. In this regard, we propose ATiSE, a temporal KG embedding model which incorporates time information into entity/relation representations by using Additive Time Series decomposition. Moreover, considering the temporal uncertainty during the evolution of entity/relation representations over time, we map the representations of temporal KGs into the space of multi-dimensional Gaussian distributions. The mean of each entity/relation embedding at a time step shows the current expected position, whereas its covariance (which is temporally stationary) represents its temporal uncertainty. Experimental results show that ATiSE chieves the state-of-the-art on link prediction over four temporal KGs.

研究动机与目标

• 将时间信息纳入知识图谱嵌入，以提升时态知识图谱上的链接预测。
• 使用加性时间序列组件（趋势、季节性、随机）建模实体和关系表示的演化。
• 将随时间演化的嵌入表示为高斯分布，以捕捉时间不确定性。
• 使用对角协方差矩阵和基于KL散度的评分实现高效训练。
• 展示在多数据集上相对于最先进的 TKGE 和静态 KGE 基线的经验改进。

提出的方法

• 通过加性时间序列建模每个实体和关系的随时间演化的嵌入：e_i,t = e_i + alpha_e,i w_e,i t + beta_e,i sin(2 pi omega_e,i t) + N(0, Sigma_e,i)，以及 r_p,t 同样表示。
• 将时间上的均值嵌入建模为线性趋势加季节性成分，带高斯噪声；使用对角协方差矩阵来编码时间不确定性。
• 将时间 t 的事实表示为变换后的实体分布 P_s,t - P_o,t 和关系分布 P_r,t，并用对称的基于KL散度的度量 f_t(e_s, r_p, e_o) = 0.5*(KL(P_r,t || P_e,t) + KL(P_e,t || P_r,t)) 进行打分。
• 约束嵌入范数和协方差（||e_i||_2 = 1, ||r_p||_2 = 1; c_min I <= Sigma_l <= c_max I）以确保稳定性和正定协方差。
• 使用负采样和自对抗训练结合负采样损失，以及对协方差的正则化进行训练。

实验结果

研究问题

• RQ1 如何将时间信息纳入 KG 嵌入，以区分随时间变化的事实？
• RQ2 相较现有 TKGE 方法，加性时间序列分解与高斯不确定性是否能提升时态KG的链接预测？
• RQ3 嵌入维度和时间分量对多数据集上预测性能的影响？
• RQ4 相较于静态 KGE 和其他 TKGE 模型，ATiSE 的计算权衡（空间/时间）如何？

主要发现

• ATiSE 在四个时态KG数据集的链接预测上超越最先进的TKGE模型及一些静态KGE模型。
• 在 ICEWS14 和 ICEWS05-15 上，ATiSE 获得最佳的 MRR 和 Hits@10；例如，MRR 在 ICEWS14 为 0.550，在 ICEWS05-15 为 0.519，Hits@10 分别为 0.750 和 0.794，见表4。
• 在 YAGO11k 和 Wikidata12k 上，ATiSE 实现最佳或接近最佳的 MRR 和 Hits@1/3，且 Hits@10 表现强劲（例如 Wikidata12k Hits@10 = 0.481）。
• 模型的空间复杂度接近静态 GKE 模型，且由于对角协方差，计算高效；训练时间也很实用（例如在 RTX2080 上 d=100 时每轮 2.8 秒）。
• 消融研究表明嵌入维度和加性时间序列分量显著影响性能，即使在较低维度下，ATiSE 也达到最先进的结果。