[论文解读] Pre-trained Language Model with Prompts for Temporal Knowledge Graph Completion

Wenjie Xu, Ben Liu+3 more|arXiv (Cornell University)|May 13, 2023

Topic Modeling被引用 4

一句话总结

该论文提出PPT，一种用于时间知识图谱补全（TKGC）的提示预训练语言模型，通过使用时间特定提示将四元组转化为连贯句子，实现掩码标记预测。该方法通过有效利用时间间隔和关系语义，在三个基准数据集上实现了最先进性能，且在外推设置下优于基于图神经网络（GNN）的方法。

ABSTRACT

Temporal Knowledge graph completion (TKGC) is a crucial task that involves reasoning at known timestamps to complete the missing part of facts and has attracted more and more attention in recent years. Most existing methods focus on learning representations based on graph neural networks while inaccurately extracting information from timestamps and insufficiently utilizing the implied information in relations. To address these problems, we propose a novel TKGC model, namely Pre-trained Language Model with Prompts for TKGC (PPT). We convert a series of sampled quadruples into pre-trained language model inputs and convert intervals between timestamps into different prompts to make coherent sentences with implicit semantic information. We train our model with a masking strategy to convert TKGC task into a masked token prediction task, which can leverage the semantic information in pre-trained language models. Experiments on three benchmark datasets and extensive analysis demonstrate that our model has great competitiveness compared to other models with four metrics. Our model can effectively incorporate information from temporal knowledge graphs into the language models.

研究动机与目标

• 为解决现有TKGC方法在从时间戳中提取时间信息以及挖掘关系关联方面的局限性。
• 通过利用预训练语言模型提升时间知识图谱补全任务中的外推性能。
• 探索通过提示技术对时间知识图谱数据进行结构化，以实现与预训练语言模型（PLM）的更好融合。
• 证明隐式时间语义和关系依赖可通过PLM的提示微调被有效捕捉。

提出的方法

• 使用编码时间间隔语义的时间提示，将采样的四元组（主体、关系、客体、时间戳）转化为自然语言序列。
• 为不同时间间隔（例如，'一天前'、'一周后'）构建独立提示，以显式嵌入相对时间信息。
• 通过掩码目标实体，将TKGC任务转化为掩码标记预测问题，并微调预训练语言模型。
• 在微调过程中采用掩码策略，使模型能够基于历史事件的上下文表示预测缺失实体。
• 利用预训练模型捕捉长距离依赖关系和来自连贯输入序列的隐式语义的能力。
• 应用提示工程，确保输入标记在句法上连贯且语义丰富，以有效利用PLM的归纳偏置。

实验结果

研究问题

• RQ1 通过将四元组转化为自然语言序列，能否有效适配预训练语言模型用于时间知识图谱补全？
• RQ2 能否通过编码时间间隔的特定时间提示来提升模型对事件顺序与持续时间的推理能力？
• RQ3 在外推设置下，所提出的基于提示的掩码策略是否优于传统的基于GNN或张量分解的方法？
• RQ4 模型在多大程度上能够捕捉时间敏感的关系模式，例如关系之间的序列依赖？

主要发现

• PPT在三个基准时间知识图谱数据集（ICEWS14、ICEWS05-15和YAGO3-196K）上达到最先进性能，其中在ICEWS05-15数据集上MRR为38.85，在ICEWS05-filter子集上Hits@10为59.31。
• 消融实验表明，若移除时间提示（改用随机时间戳），性能显著下降，证实模型从提示中学习到了有意义的时间信息。
• 注意力可视化结果表明，模型在预测缺失实体时会关注相关的历史事件和时间线索（如'天'、'下一个'）。
• PPT在包含139对具有明确时间顺序的时间敏感关系对的ICEWS05-filter数据集上优于基线模型，表明其在处理序列关系模式方面具有优势。
• 即使将时间戳替换为随机值，模型性能依然保持稳健，表明性能提升源于提示设计本身，而非对原始时间戳的记忆。