[论文解读] Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment

Muhao Chen, Yingtao Tian+2 more|arXiv (Cornell University)|Nov 12, 2016

Advanced Graph Neural Networks参考文献 40被引用 5

一句话总结

本文提出 MTransE，一种多语言知识图谱嵌入模型，通过基于翻译的方法扩展 TransE，以实现跨语言的实体和关系对齐。通过学习轴校准、平移向量或线性变换的跨语言迁移，MTransE 在跨语言实体匹配和三元组对齐任务中达到最先进性能，同时保持了单语言知识表征的质量。

ABSTRACT

Many recent works have demonstrated the benefits of knowledge graph embeddings in completing monolingual knowledge graphs. Inasmuch as related knowledge bases are built in several different languages, achieving cross-lingual knowledge alignment will help people in constructing a coherent knowledge base, and assist machines in dealing with different expressions of entity relationships across diverse human languages. Unfortunately, achieving this highly desirable crosslingual alignment by human labor is very costly and errorprone. Thus, we propose MTransE, a translation-based model for multilingual knowledge graph embeddings, to provide a simple and automated solution. By encoding entities and relations of each language in a separated embedding space, MTransE provides transitions for each embedding vector to its cross-lingual counterparts in other spaces, while preserving the functionalities of monolingual embeddings. We deploy three different techniques to represent cross-lingual transitions, namely axis calibration, translation vectors, and linear transformations, and derive five variants for MTransE using different loss functions. Our models can be trained on partially aligned graphs, where just a small portion of triples are aligned with their cross-lingual counterparts. The experiments on cross-lingual entity matching and triple-wise alignment verification show promising results, with some variants consistently outperforming others on different tasks. We also explore how MTransE preserves the key properties of its monolingual counterpart TransE.

研究动机与目标

• 解决多语言知识图谱之间跨语言知识对齐的挑战，因为手动对齐成本高且易出错。
• 通过学习实体和关系嵌入之间的跨语言迁移，将单语言知识图谱嵌入模型（如 TransE）扩展至多语言数据。
• 评估不同跨语言迁移技术（轴校准、平移向量和线性变换）在对齐任务中的有效性。
• 确保多语言模型在单语言任务中保留其单语言对应模型（即 TransE）的关键特性。
• 探索在仅包含少量对齐三元组的不完全对齐知识图谱上进行训练的可行性。

提出的方法

• MTransE 为每种语言使用独立的嵌入空间，通过基于 TransE 的知识模型保留单语言知识图谱结构。
• 它引入了一个对齐模型，用于学习跨语言之间实体和关系嵌入的跨语言迁移。
• 使用三种技术表示跨语言迁移：轴校准、平移向量和线性变换。
• 通过将这些技术与不同损失函数结合，推导出五种 MTransE 变体，支持在部分对齐图上进行端到端训练。
• 模型通过单语言三元组损失和跨语言对齐损失的组合进行训练，实现知识和对齐组件的联合优化。
• 对齐模型在少量对齐三元组上进行训练，支持零样本或少样本的跨语言迁移。

实验结果

研究问题

• RQ1 基于翻译的模型能否有效学习多语言知识图谱嵌入之间的跨语言迁移？
• RQ2 在三种跨语言迁移技术（轴校准、平移向量和线性变换）中，哪一种在跨语言对齐任务中表现最佳？
• RQ3 多语言模型在单语言知识补全任务中，对其单语言对应模型（TransE）的性能保留程度如何？
• RQ4 当仅有一小部分三元组在语言之间对齐时，模型表现如何？
• RQ5 与仅针对实体的变换相比，引入针对关系的专用变换是否能提升对齐性能？

主要发现

• 基于线性变换的 MTransE 变体（Var 4）在跨语言实体匹配和三元组级对齐验证中始终优于其他变体，在所有设置下均达到最高准确率。
• 包含关系专用变换的 Var 5 表现几乎与 Var 4 相当（差异不超过 0.85%），表明仅使用实体级变换已足以实现有效对齐。
• 轴校准变体（Var 2）表现显著较差，相比最佳性能变体下降 4.12% 至 8.44%，表明其在跨语言对齐中效果较弱。
• 基于线性变换的 MTransE 在负样本测试中达到 98.57% 的准确率（英语-法语，WK3l-15k），优于 OT 及其他基线模型。
• 在单语言任务（如尾部实体预测和关系预测）中，MTransE 变体（如 Var 1、Var 4、Var 5）的表现与 TransE 相当或更优，表明对齐过程未损害单语言表征质量。
• 即使仅对齐 15% 的实体，模型仍保持强大性能，表明其对训练数据中部分对齐具有鲁棒性。