[论文解读] Recurrent Event Network: Autoregressive Structure Inference over Temporal Knowledge Graphs

Woojeong Jin, Meng Qu+2 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Graph Neural Networks参考文献 44被引用 36

一句话总结

RE-Net 是一个用于时序知识图的自回归模型，联合建模全局历史与局部邻域以预测未来的多步、多关系事件。它能够在多步外推中保持有竞争力的准确性。

ABSTRACT

Knowledge graph reasoning is a critical task in natural language processing. The task becomes more challenging on temporal knowledge graphs, where each fact is associated with a timestamp. Most existing methods focus on reasoning at past timestamps and they are not able to predict facts happening in the future. This paper proposes Recurrent Event Network (RE-NET), a novel autoregressive architecture for predicting future interactions. The occurrence of a fact (event) is modeled as a probability distribution conditioned on temporal sequences of past knowledge graphs. Specifically, our RE-NET employs a recurrent event encoder to encode past facts and uses a neighborhood aggregator to model the connection of facts at the same timestamp. Future facts can then be inferred in a sequential manner based on the two modules. We evaluate our proposed method via link prediction at future times on five public datasets. Through extensive experiments, we demonstrate the strength of RENET, especially on multi-step inference over future timestamps, and achieve state-of-the-art performance on all five datasets. Code and data can be found at https://github.com/INK-USC/RE-Net.

研究动机与目标

• 在时序知识图中引入时间戳的事实，需对未来事件进行预测的动机。
• 提出一个自回归框架，对未来事件在过去图序列条件下的联合分布进行建模。
• 引入用于时间依赖性的循环事件编码器，以及用于局部图结构的邻域聚合器。
• 在五个公开的时序知识图数据集上展示多步未来事件预测的最先进性能。

提出的方法

• 将未来事件建模为联合分布 p(Gt|Gt−m:t−1)，在时间上以及每个时间戳内事件之间进行自回归因式分解。
• 使用循环事件编码器从过去的图中生成全局状态 Ht 以及局部表示 ht(s) 和 ht(s,r)。
• 采用邻域聚合器（均值、注意力和多关系 GCN）来捕捉主体和关系周围的局部图结构。
• 通过一个接受静态嵌入和动态局部/全局特征的多层感知机解码器，定义 p(o t|s t,r t,Gt−m:t−1) 和 p(r t|s t,Gt−m:t−1) 以及 p(s t|Gt−m:t−1)。
• 使用交叉熵风格的损失对预测的对象、关系和主体进行训练，并可选地加权（λ1、λ2）。
• 通过按顺序采样中间图 Gt+1:Δt−1 并汇聚以估计 p(Gt+Δt|Gt)，实现多步推断。

实验结果

研究问题

• RQ1 RE-Net 是否能够在时序知识图上对未见的未来事件进行多步外推预测并保持准确性？
• RQ2 将全局历史与局部邻域信息同时纳入是否能比基线方法提升未来事件预测？
• RQ3 不同的邻域聚合器（均值、注意力、RGCN）在多关系、随时间演化的图上对预测性能有何影响？
• RQ4 多步推断是否能够在没有真实未来事件的情况下产生具有竞争力的长程预测？

主要发现

方法	ICEWS18 MRR	ICEWS18 H@3	ICEWS18 H@10	GDELT MRR	GDELT H@3	GDELT H@10	ICEWS14 MRR	ICEWS14 H@3	ICEWS14 H@10	WIKI MRR	WIKI H@3	WIKI H@10	YAGO MRR	YAGO H@3	YAGO H@10
Static DistMult	22.16	26.00	42.18	18.71	20.05	32.55	19.06	22.00	36.41	46.12	49.81	51.38	59.47	60.91	65.26
R-GCN	23.19	25.34	36.48	23.31	24.94	34.36	26.31	30.43	45.34	37.57	39.66	41.90	41.30	44.44	52.68
ConvE	36.85	39.92	50.54	35.56	39.45	49.16	40.46	43.33	54.75	47.55	49.78	49.42	62.66	63.36	65.57
RotatE	23.10	27.61	38.72	22.33	23.89	32.29	29.56	32.92	42.68	48.67	49.74	49.88	64.09	64.67	66.16
Temporal TA-DistMult	28.53	31.57	44.96	29.35	31.56	41.39	20.78	22.80	35.26	48.09	49.51	51.70	61.72	63.32	65.19
HyTE	7.31	7.50	14.95	6.37	6.72	18.63	11.48	13.04	22.51	43.02	45.12	49.49	23.16	45.74	51.94
dyngraph2vecAE	1.52	1.99	2.02	4.53	1.87	1.87	10.83	12.70	15.02	5.30	5.27	5.45	0.93	0.84	0.95
tNodeEmbed	8.32	9.74	17.47	19.97	22.62	32.72	17.84	20.16	32.88	9.54	10.44	16.60	4.22	4.16	8.40
EvolveRGCN	16.59	18.32	34.01	15.55	19.23	31.54	17.01	18.97	32.58	46.49	47.83	49.23	59.74	61.03	61.69
Know-Evolve*	3.27	3.23	3.26	2.43	2.35	2.41	1.42	1.37	1.43	0.09	0.03	0.10	0	0.04	0
Know-Evolve+MLP	9.29	9.62	17.18	22.78	25.49	35.41	22.89	26.68	38.57	12.64	14.33	21.57	6.19	6.59	11.48
DyRep+MLP	9.86	10.66	18.66	23.94	27.88	36.58	24.61	28.87	39.34	11.60	12.74	21.65	5.87	6.54	11.98
R-GCRN+MLP	35.12	38.26	50.49	37.29	41.08	51.88	36.77	40.15	52.33	47.71	48.14	49.66	53.89	56.06	61.19
RE-Net w. mean agg.	40.70	43.27	53.65	38.35	42.13	52.52	43.79	47.34	57.47	51.13	51.37	53.01	65.10	65.24	67.34
RE-Net w. attn agg.	40.96	44.08	54.32	38.54	42.25	52.85	43.94	47.85	57.91	51.25	52.54	53.12	65.13	65.54	67.87
RE-Net	42.93	45.47	55.80	40.42	43.40	53.70	45.71	49.06	59.12	51.97	52.07	53.91	65.16	65.63	68.08

• RE-Net 在五个数据集的外推链接预测任务上实现了最先进的结果。
• 使用 RE-Net 的多步推断在远距离未来时间戳上稳定提升预测准确性。
• 多关系图聚合（RGCN）与注意力邻域池化在聚合器中表现最佳。
• RE-Net 在事件驱动和公开知识图上显著超越静态基线与时序推理模型。
• 消融研究显示去除聚合器或多步推断都会降低性能，强调两者的重要性。