[论文解读] Multi-task Pre-training Language Model for Semantic Network Completion

Da Li, Sen Yang+4 more|arXiv (Cornell University)|Jan 13, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 LP-BERT，一种用于知识图谱补全的多任务预训练语言模型，通过联合学习实体、关系和上下文表征来提升链接预测性能。通过引入掩码实体和关系建模任务以及一种批量式三元组风格负采样策略，LP-BERT 实现了最先进性能，在 WN18RR 上将 Hits@10 提升 5%，并在 UMLS 上达到 100%。

ABSTRACT

Semantic networks, such as the knowledge graph, can represent the knowledge leveraging the graph structure. Although the knowledge graph shows promising values in natural language processing, it suffers from incompleteness. This paper focuses on knowledge graph completion by predicting linkage between entities, which is a fundamental yet critical task. Semantic matching is a potential solution as it can deal with unseen entities, which the translational distance based methods struggle with. However, to achieve competitive performance as translational distance based methods, semantic matching based methods require large-scale datasets for the training purpose, which are typically unavailable in practical settings. Therefore, we employ the language model and introduce a novel knowledge graph architecture named LP-BERT, which contains two main stages: multi-task pre-training and knowledge graph fine-tuning. In the pre-training phase, three tasks are taken to drive the model to learn the relationship from triples by predicting either entities or relations. While in the fine-tuning phase, inspired by contrastive learning, we design a triple-style negative sampling in a batch, which greatly increases the proportion of negative sampling while keeping the training time almost unchanged. Furthermore, we propose a new data augmentation method utilizing the inverse relationship of triples to improve the performance and robustness of the model. To demonstrate the effectiveness of our method, we conduct extensive experiments on three widely-used datasets, WN18RR, FB15k-237, and UMLS. The experimental results demonstrate the superiority of our methods, and our approach achieves state-of-the-art results on WN18RR and FB15k-237 datasets. Significantly, Hits@10 indicator is improved by 5% from previous state-of-the-art result on the WN18RR dataset while reaching 100% on the UMLS dataset.

研究动机与目标

• 通过改进未见实体的链接预测，解决知识图谱不完整性的挑战。
• 克服传统平移距离模型在未登录词实体上失效的局限性。
• 提升基于语义匹配的模型，此类模型存在负采样比例低和泛化能力差的问题。
• 开发一种预训练框架，有效从结构化和非结构化数据中捕捉关系与语义知识。
• 通过使用逆三元组的新型数据增强方法，提升模型鲁棒性与性能。

提出的方法

• 引入包含三项任务的多任务预训练阶段：掩码语言建模（MLM）、掩码实体建模（MEM）和掩码关系建模（MRM），以学习上下文、实体和关系表征。
• 设计一种基于批次的三元组风格负采样策略，受对比学习启发，可在不增加训练时间的前提下显著提升负采样比例。
• 提出一种利用三元组逆关系进行数据增强的方法，以提升训练样本多样性与模型鲁棒性。
• 在知识图谱补全任务上微调预训练模型，采用受对比学习启发的目标函数，以提升泛化能力。
• 利用 BERT 风格的 Transformer 架构编码实体和关系的文本描述，实现语义匹配。
• 结合大规模知识图谱三元组的预训练与下游链接预测任务的微调。

实验结果

研究问题

• RQ1 通过引入实体和关系掩码的多任务预训练，能否提升知识图谱中零样本和少样本链接预测性能？
• RQ2 与标准负采样相比，基于批次的三元组风格负采样对模型收敛性和性能有何影响？
• RQ3 利用逆三元组进行数据增强在多大程度上提升了模型的泛化能力与鲁棒性？
• RQ4 基于语义匹配的模型能否在链接预测中超越平移距离模型，尤其是在未见实体上的表现？
• RQ5 预训练对多样化基准上下游知识图谱补全性能的影响如何？

主要发现

• LP-BERT 在 WN18RR 和 FB15k-237 数据集上达到最先进性能，显著优于现有方法的链接预测表现。
• 在 WN18RR 上，LP-BERT 相较于先前最先进结果将 Hits@10 提升 5%，展现出显著的性能提升。
• 在 UMLS 数据集上，LP-BERT 达到 100% 的 Hits@10，表明在该基准上表现完美。
• 案例研究显示，LP-BERT 始终将正确实体排在更高位置（平均排名 1.4），优于仅使用 MLM 预训练（排名 3.4）和无预训练（排名 8.2）。
• 所提出的基于批次的负采样策略显著提升了负采样比例，同时保持了训练效率。
• 逆三元组数据增强方法显著增强了模型的鲁棒性与泛化能力，尤其在低资源场景下表现突出。