[论文解读] Semantic Entity Enrichment by Leveraging Multilingual Descriptions for Link Prediction

Genet Asefa Gesese, Mehwish Alam+1 more|arXiv (Cornell University)|Apr 22, 2020

Advanced Graph Neural Networks参考文献 17被引用 4

一句话总结

本文通过利用多语言实体描述，提出增强知识图嵌入（KGE）模型在链接预测中的表现，采用多语言词嵌入而非单语言嵌入或机器翻译。通过将多语言描述与多语言嵌入（如 MUSE）结合，利用 DKRL 等模型，该方法在不依赖翻译错误的前提下，捕获跨语言的更丰富语义，从而提升实体表征与链接预测性能。

ABSTRACT

Most Knowledge Graphs (KGs) contain textual descriptions of entities in various natural languages. These descriptions of entities provide valuable information that may not be explicitly represented in the structured part of the KG. Based on this fact, some link prediction methods which make use of the information presented in the textual descriptions of entities have been proposed to learn representations of (monolingual) KGs. However, these methods use entity descriptions in only one language and ignore the fact that descriptions given in different languages may provide complementary information and thereby also additional semantics. In this position paper, the problem of effectively leveraging multilingual entity descriptions for the purpose of link prediction in KGs will be discussed along with potential solutions to the problem.

研究动机与目标

• 解决现有 KGE 模型仅使用单语言实体描述的局限性，忽略多语言描述中提供的互补语义信息。
• 探究 Freebase、DBpedia 和 Wikidata 等知识图谱中的多语言描述如何在链接预测中超越单语言方法。
• 提出有效方法将多语言描述整合进基于神经网络的 KGE 模型中，无需依赖机器翻译。
• 探索多语言词嵌入（如 MUSE、跨语言 Bilbowa）在共享向量空间中对多种语言描述进行编码的潜力。
• 通过捕捉多语言实体描述中的跨语言语义信号，实现链接预测性能的提升。

提出的方法

• 将现有 KGE 模型（如 DKRL、Jointly）中的单语言词嵌入替换为多语言词嵌入（如 MUSE），以编码多语言实体描述。
• 修改 DKRL 中的 CNN 编码器，使其接受预训练的多语言词嵌入作为输入，同时保持跨语言语义对齐。
• 使用多语言文本编码器（如 KDCoE 中的 AGRU）同时处理多种语言的描述，利用跨语言对齐能力。
• 通过使用将语义相似的词在不同语言中映射到相近向量表示的多语言嵌入，避免机器翻译。
• 通过将每种语言的描述视为文档，并利用共享嵌入空间进行编码，将多语言描述整合进 KGE 模型。
• 调整现有 KGE 框架，通过注意力机制或平均技术，联合学习结构化三元组与多语言文本描述。

实验结果

研究问题

• RQ1 知识图谱（如 Freebase）中的多语言实体描述是否能提供单语言描述中不存在的互补语义信息？
• RQ2 如何有效利用多语言词嵌入在 KGE 模型中对多种语言的实体描述进行编码？
• RQ3 在链接预测任务中，使用多语言描述相较于单语言描述能带来多大的性能提升？
• RQ4 在多语言描述编码中避免使用机器翻译是否能减少错误传播并提升 KGE 质量？
• RQ5 多语言描述如何影响 KGE 模型在链接预测及其他知识图补全任务中的泛化能力与鲁棒性？

主要发现

• Freebase 等知识图谱中的多语言实体描述包含单语言描述中未体现的信息，提供互补语义。
• 与使用机器翻译相比，使用多语言词嵌入可减少错误传播，提升编码后实体描述的质量。
• 通过多语言嵌入整合多语言描述，能够增强 KGE 模型中的实体表征，从而提升链接预测性能。
• 通过将单语言嵌入替换为多语言嵌入，DKRL 和 Jointly 等模型可得到改进，实现跨语言语义捕捉。
• 该方法可推广至其他知识图补全任务，如三元组分类与实体分类。
• 未来工作应分析 Wikidata 和 DBpedia 等知识图谱中多语言描述的质量与特性，以进一步优化编码策略。