[论文解读] Multilingual Knowledge Graph Completion with Joint Relation and Entity Alignment

Harkanwar Singh, Prachi Jain+2 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling被引用 9

一句话总结

该论文提出AlignKGC，一种联合学习框架，通过利用共享嵌入和关系主语-客体签名袋的新型非对称重叠度量，同时执行多语言知识图谱补全（KGC）、实体对齐（EA）和关系对齐（RA）。在五种语言的多语言DBPedia数据上，该方法在KGC任务上实现了10–32的MRR提升，在EA和RA任务上也显著优于强基线模型，证明了通过联合优化这三项任务可实现显著性能增益。

ABSTRACT

Knowledge Graph Completion (KGC) predicts missing facts in an incomplete Knowledge Graph. Almost all of existing KGC research is applicable to only one KG at a time, and in one language only. However, different language speakers may maintain separate KGs in their language and no individual KG is expected to be complete. Moreover, common entities or relations in these KGs have different surface forms and IDs, leading to ID proliferation. Entity alignment (EA) and relation alignment (RA) tasks resolve this by recognizing pairs of entity (relation) IDs in different KGs that represent the same entity (relation). This can further help prediction of missing facts, since knowledge from one KG is likely to benefit completion of another. High confidence predictions may also add valuable information for the alignment tasks. In response, we study the novel task of jointly training multilingual KGC, relation alignment and entity alignment models. We present ALIGNKGC, which uses some seed alignments to jointly optimize all three of KGC, EA and RA losses. A key component of ALIGNKGC is an embedding based soft notion of asymmetric overlap defined on the (subject, object) set signatures of relations this aids in better predicting relations that are equivalent to or implied by other relations. Extensive experiments with DBPedia in five languages establish the benefits of joint training for all tasks, achieving 10-32 MRR improvements of ALIGNKGC over a strong state-of-the-art single-KGC system completion model over each monolingual KG . Further, ALIGNKGC achieves reasonable gains in EA and RA tasks over a vanilla completion model over a KG that combines all facts without alignment, underscoring the value of joint training for these tasks.

研究动机与目标

• 为解决单语言、单一KGC系统无法利用跨语言知识且在多语言知识图谱中面临ID爆炸问题的局限性。
• 联合优化知识图谱补全（KGC）、实体对齐（EA）和关系对齐（RA），以挖掘这些任务之间的协同效应。
• 通过利用多语言中对齐的实体和关系作为归纳偏置，提升KGC性能。
• 提出一种可学习的、基于嵌入的非对称重叠度量方法，用于捕捉跨语言的关系等价性与蕴含关系。
• 证明联合训练可同时提升KGC、EA和RA三项任务的性能，而非孤立地处理各项任务。

提出的方法

• AlignKGC采用多任务学习框架，通过共享编码器对实体和关系嵌入进行联合优化，同时最小化KGC、EA和RA的损失函数。
• 将每个关系表示为（主语，客体）嵌入对的集合，形成捕获事实间结构模式的签名。
• 提出一种新颖的软性非对称重叠度量方法，用于比较关系签名，实现对跨语言等价或蕴含关系的检测。
• 模型采用可微分损失函数，结合KGC（通过MRR或hits@K衡量）、EA（通过嵌入相似度）和RA（通过签名重叠度）的损失，实现端到端的联合训练。
• 利用种子对齐结果初始化对齐过程，并通过端到端反向传播同时优化所有组件。
• 在五种语言的DBPedia数据子集上评估该框架，并通过消融实验比较不同签名匹配策略（Jaccard、非对称、软性非对称）的性能。

实验结果

研究问题

• RQ1 与孤立训练相比，联合训练多语言KGC、实体对齐和关系对齐是否能同时提升三项任务的性能？
• RQ2 可学习的非对称重叠度量在关系签名袋上的有效性如何，能否有效检测跨语言的关系等价或蕴含关系？
• RQ3 一个知识图谱中高置信度的KGC预测在多大程度上能提升其他知识图谱的对齐质量？
• RQ4 仅使用名称或嵌入信息之外，利用（主语，客体）签名袋中的结构信息是否能增强关系对齐性能？
• RQ5 不同签名匹配策略（如Jaccard与软性非对称）对KGC、EA和RA最终性能的影响如何？

主要发现

• AlignKGC在所有五种语言上相较于强基线的单语言KGC模型，MRR提升达10–32，证明了通过跨语言知识迁移可显著提升KGC的准确性。
• 软性非对称签名匹配变体在KGC任务中表现最佳，MRR分数在五种语言中分别为82.9、99.1、89.9、83.2、98.6、89.8、83.1、99.1、90.0、86.0、99.7、91.8、83.3、99.4、90.3。
• 在实体对齐任务中，AlignKGC（软性非对称）实现45.3 HITS@1和61.9 HITS@10，较KGCunion基线模型（23.5 HITS@1和42.8 HITS@10）提升超过20个百分点。
• 在关系对齐任务中，软性非对称变体在出现次数≥500的关系上实现68.8 HITS@1，较基线提升26个百分点，表明其在高频关系上表现强劲。
• 联合训练框架对高频关系的RA性能提升更显著，表明高频关系中的结构模式能更有效地被捕捉与对齐。
• 即使仅使用KGC损失的模型（如Jaccard和Asymmetric Jaccard）也显著提升了EA和RA性能，表明KGC本身可支持对齐任务，但联合优化可带来进一步增益。