[论文解读] Type-Constrained Representation Learning in Knowledge Graphs

Denis Krompaß, Stephan Baier+1 more|arXiv (Cornell University)|Aug 11, 2015

Advanced Graph Neural Networks参考文献 23被引用 77

一句话总结

本文将类型约束与局部闭世界假设（LCWA）整合进最先进的知识图谱嵌入模型——TransE、RESCAL 和多路神经网络（mwNN）——以提升链接预测性能。通过利用知识图谱模式中的语义类型信息，或从观测三元组中推断类型信息，模型在链接预测方面实现了最高达77%的性能提升，尤其在低维、计算高效的设置下表现显著。

ABSTRACT

Large knowledge graphs increasingly add value to various applications that require machines to recognize and understand queries and their semantics, as in search or question answering systems. Latent variable models have increasingly gained attention for the statistical modeling of knowledge graphs, showing promising results in tasks related to knowledge graph completion and cleaning. Besides storing facts about the world, schema-based knowledge graphs are backed by rich semantic descriptions of entities and relation-types that allow machines to understand the notion of things and their semantic relationships. In this work, we study how type-constraints can generally support the statistical modeling with latent variable models. More precisely, we integrated prior knowledge in form of type-constraints in various state of the art latent variable approaches. Our experimental results show that prior knowledge on relation-types significantly improves these models up to 77% in link-prediction tasks. The achieved improvements are especially prominent when a low model complexity is enforced, a crucial requirement when these models are applied to very large datasets. Unfortunately, type-constraints are neither always available nor always complete e.g., they can become fuzzy when entities lack proper typing. We show that in these cases, it can be beneficial to apply a local closed-world assumption that approximates the semantics of relation-types based on observations made in the data.

研究动机与目标

• 探究精心整理的语义类型约束对知识图谱表示学习中潜在变量模型性能的影响。
• 针对现实世界知识图谱中不完整或模糊的类型约束问题，提出一种基于局部闭世界假设（LCWA）的数据驱动替代方案。
• 评估类型约束与LCWA在多种大规模知识图谱上，对多种最先进的模型是否均能提升链接预测性能。
• 确定在何种条件下——尤其是低模型复杂度下——类型约束能带来最大收益。
• 探索在实际知识图谱应用中，结合类型约束与LCWA以实现稳健且可扩展建模的可行性。

提出的方法

• 通过约束实体和关系嵌入以符合语义类型，将显式类型约束（如来自知识图谱模式的域和范围限制）整合进TransE、RESCAL和mwNN。
• 当基于模式的约束缺失或不完整时，利用局部闭世界假设（LCWA）从观测三元组中在实例层面推断类型约束。
• 修改每种模型的训练目标，以强制预测三元组尊重基于模式的类型约束或由LCWA推导出的约束。
• 在基准数据集（Freebase-150k、DBpedia-Music、YAGOc-195k）上采用标准的链接预测评估协议，使用AUPRC和AUROC指标。
• 采用低维嵌入（例如50–100维）以模拟对模型复杂度和计算效率的实际约束。
• 对比有无类型约束和LCWA的模型性能，以分离其单独作用与联合效应。

实验结果

研究问题

• RQ1 来自知识图谱模式的类型约束如何影响TransE、RESCAL和mwNN的链接预测性能？
• RQ2 当类型约束缺失或不完整时，局部闭世界假设（LCWA）在多大程度上能提升链接预测性能？
• RQ3 类型约束或LCWA的收益是否依赖于模型复杂度，尤其是在嵌入维度较低时？
• RQ4 LCWA能否在现实世界知识图谱中有效替代缺失或模糊的类型约束？
• RQ5 在低维设置下，哪种模型架构（TransE、RESCAL、mwNN）从类型约束或LCWA中获益最多？

主要发现

• 类型约束在TransE、RESCAL和mwNN上使链接预测性能最高提升77%，且在低模型复杂度下收益最为显著。
• 当嵌入维度较低时，类型约束的收益尤为突出，使其在大规模知识图谱的可扩展部署中至关重要。
• 当缺乏类型约束时，LCWA能显著提升链接预测性能，但其表现并不总是优于基于模式的类型约束。
• 在YAGOc-195k数据集中，使用类型约束的模型显著优于使用LCWA的模型，表明当可用时，经整理的模式知识仍具优势。
• 在无类型约束时，RESCAL从LCWA中获益最多；而mwNN在使用类型约束时达到最佳性能；TransE的表现则因嵌入长度不同而呈现混合结果。
• 在实际应用中，推荐结合使用类型约束与LCWA：当类型约束可用时优先使用，LCWA则作为不完整类型信息的备用方案。