[论文解读] Temporal Knowledge Graph Reasoning with Historical Contrastive Learning

Yi Xu, Junjie Ou+2 more|arXiv (Cornell University)|Nov 20, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出CENET，一种新颖的时间知识图谱推理模型，通过利用历史对比学习来改善事件预测，联合建模历史与非历史依赖关系。通过监督对比学习训练查询表征，并采用基于掩码的推理策略，CENET在事件数据集上相较最先进方法实现了最低8.3%的Hits@1相对提升。

ABSTRACT

Temporal knowledge graph, serving as an effective way to store and model dynamic relations, shows promising prospects in event forecasting. However, most temporal knowledge graph reasoning methods are highly dependent on the recurrence or periodicity of events, which brings challenges to inferring future events related to entities that lack historical interaction. In fact, the current moment is often the combined effect of a small part of historical information and those unobserved underlying factors. To this end, we propose a new event forecasting model called Contrastive Event Network (CENET), based on a novel training framework of historical contrastive learning. CENET learns both the historical and non-historical dependency to distinguish the most potential entities that can best match the given query. Simultaneously, it trains representations of queries to investigate whether the current moment depends more on historical or non-historical events by launching contrastive learning. The representations further help train a binary classifier whose output is a boolean mask to indicate related entities in the search space. During the inference process, CENET employs a mask-based strategy to generate the final results. We evaluate our proposed model on five benchmark graphs. The results demonstrate that CENET significantly outperforms all existing methods in most metrics, achieving at least $8.3\%$ relative improvement of Hits@1 over previous state-of-the-art baselines on event-based datasets.

研究动机与目标

• 为解决时间知识图谱中缺乏足够历史交互痕迹的新事件或罕见事件预测挑战。
• 通过联合建模历史与非历史依赖关系，减少对重复或周期性模式的依赖，以提升事件预测性能。
• 提出一种对比学习框架，根据查询是否更依赖历史或非历史因素来区分查询类型。
• 通过使用学习得到的二分类器生成动态掩码，优先关注相关实体，从而提升推理准确性。
• 克服实体重复率不平衡问题，特别是针对历史交互频率较低的主语实体。

提出的方法

• CENET采用基于复制机制的打分策略，为给定查询建模来自历史与非历史事件的依赖关系。
• 利用监督对比学习训练查询表征，区分正确实体在历史上频繁出现或罕见出现的查询。
• 使用对比损失训练二分类器，输出布尔掩码，指示预测是否应优先考虑历史或非历史实体。
• 在推理阶段，CENET应用基于掩码的策略，根据分类器输出过滤候选实体，提升对相关实体的关注度。
• 模型优化两个损失函数：用于标准预测的交叉熵损失（$\mathcal{L}^{ce}$）和用于增强查询表征学习的监督对比损失（$\mathcal{L}^{sup}$）。
• 超参数$\alpha$和$\lambda$分别用于平衡两个损失函数的贡献以及掩码加权。

实验结果

研究问题

• RQ1 对比学习框架能否有效区分时间知识图谱中依赖于历史事件与非历史事件的查询？
• RQ2 联合建模历史与非历史依赖关系在预测稀有或新事件时如何提升性能？
• RQ3 与对所有候选实体进行均匀排序相比，所学习的基于掩码的推理策略在多大程度上提升了准确性？
• RQ4 所提出框架的各组件——对比学习、二分类器与掩码策略——对性能提升的独立贡献如何？
• RQ5 该模型在具有不同重复率与结构特性的多样化时间知识图谱上是否具备泛化能力？

主要发现

• CENET在事件数据集上相较最先进基线模型实现了最低8.3%的Hits@1相对提升，表现出强大的泛化能力。
• 在ICEWS18和YAGO数据集上，移除对比学习组件（CENET-w/o-CL）后性能最差，证实其在表征学习中的关键作用。
• 消融实验表明，历史与非历史依赖关系均不可或缺：仅使用历史依赖的CENET-his优于仅使用非历史依赖的CENET-nhis，但两者结合才能获得最优结果。
• 基于掩码的推理策略显著提升性能，CENET-w/o-stage-2（无分类器）在ICEWS18和YAGO上的Hits@1分别下降1.7%和3.8%。
• 超参数分析表明，$\alpha = 0.2$和$\lambda = 2$可获得最优性能，其中$\mathcal{L}^{ce}$在事件型时间知识图谱中贡献更大，而$\mathcal{L}^{sup}$在公开知识图谱中更有效。
• 该模型有效缓解了重复率不平衡的影响，即使主语实体历史交互频率较低，也能显著降低选择无关实体的概率。