[论文解读] Rule-Guided Compositional Representation Learning on Knowledge Graphs

Guanglin Niu, Yongfei Zhang+5 more|arXiv (Cornell University)|Nov 20, 2019

Advanced Graph Neural Networks参考文献 43被引用 7

一句话总结

该论文提出了一种基于规则与路径联合嵌入（RPJE）的新颖知识图谱嵌入框架，通过整合逻辑规则与路径表示，提升了表示学习的准确性和可解释性。通过挖掘不同长度的Horn规则，并利用其构建路径表示及以置信度分数约束关系嵌入，RPJE在知识图谱补全任务中实现了最先进性能，在FB15K-237上的MRR指标上相比基线模型最高提升29.5%。

ABSTRACT

Representation learning on a knowledge graph (KG) is to embed entities and relations of a KG into low-dimensional continuous vector spaces. Early KG embedding methods only pay attention to structured information encoded in triples, which would cause limited performance due to the structure sparseness of KGs. Some recent attempts consider paths information to expand the structure of KGs but lack explainability in the process of obtaining the path representations. In this paper, we propose a novel Rule and Path-based Joint Embedding (RPJE) scheme, which takes full advantage of the explainability and accuracy of logic rules, the generalization of KG embedding as well as the supplementary semantic structure of paths. Specifically, logic rules of different lengths (the number of relations in rule body) in the form of Horn clauses are first mined from the KG and elaborately encoded for representation learning. Then, the rules of length 2 are applied to compose paths accurately while the rules of length 1 are explicitly employed to create semantic associations among relations and constrain relation embeddings. Besides, the confidence level of each rule is also considered in optimization to guarantee the availability of applying the rule to representation learning. Extensive experimental results illustrate that RPJE outperforms other state-of-the-art baselines on KG completion task, which also demonstrate the superiority of utilizing logic rules as well as paths for improving the accuracy and explainability of representation learning.

研究动机与目标

• 为解决现有知识图谱嵌入方法仅依赖稀疏三元组结构且在基于路径的学习中缺乏可解释性的局限性。
• 将符号逻辑规则与神经路径表示相结合，以提升知识图谱嵌入的准确性和可解释性。
• 开发一个统一框架，利用不同长度（1和2）的规则以可微分、置信度感知的方式引导路径组合与关系关联。
• 通过实证验证，规则引导的路径组合与关系约束可显著提升标准知识图谱补全基准上的性能。

提出的方法

• 从知识图谱中挖掘不同长度（1和2）的Horn子句，以捕捉逻辑依赖与语义约束。
• 通过基于规则的路径组合机制编码长度为2的规则，以生成路径表示，替代随机初始化并减少误差传播。
• 利用长度为1的规则在潜在空间中显式约束关系嵌入，强化相关关系之间的语义一致性。
• 将规则置信度分数引入优化目标，以在训练过程中优先考虑可靠的逻辑约束。
• 构建联合损失函数，整合三元组预测、路径组合与基于规则的关系约束，实现端到端训练。
• 应用可微分的路径组合机制，利用规则激活的路径生成准确的实体预测。

实验结果

研究问题

• RQ1 能否在神经知识图谱嵌入框架中有效整合不同长度的逻辑规则，以同时提升准确性和可解释性？
• RQ2 与传统的数值路径组合相比，规则引导的路径组合在表示质量与误差传播方面表现如何？
• RQ3 置信度感知的规则约束在多大程度上增强了潜在空间中关系嵌入的一致性？
• RQ4 规则与路径的整合是否在具有不同稀疏性与关系复杂度的多样化知识图谱基准上均带来一致的性能提升？
• RQ5 在提升整体知识图谱补全性能方面，路径组合与通过规则的关系约束相比，各自贡献如何？

主要发现

• 与PTransE和KB-LRN相比，RPJE在FB15K-237上的MRR提升29.5%，Hits@10提升26.8%。
• 在WN18上，RPJE的MRR达到0.946，Hits@10达到95.1%，优于RUGE（MRR: 0.943，Hits@10: 94.4%）和TransE（MRR: 0.495，Hits@10: 93.4%）。
• 在NELL-995上，RPJE的MRR为0.361，Hits@10为50.1%，显著优于次佳基线RUGE（MRR: 0.318，Hits@10: 43.3%）。
• 消融实验表明，移除路径组合与长度为2的规则会导致性能显著下降（MRR从0.816降至0.453），证实其关键作用。
• 移除长度为1的规则同样导致性能下降（MRR从0.816降至0.812），表明其在通过语义约束优化关系嵌入方面具有重要价值。
• 案例研究显示，RPJE可通过激活的规则与置信度分数提供可解释的预测，例如对预测'FilmLanguage'的路径置信度达0.81。