[论文解读] Neural Compositional Rule Learning for Knowledge Graph Reasoning

Kewei Cheng, Nesreen K. Ahmed+1 more|arXiv (Cornell University)|Mar 7, 2023

Advanced Graph Neural Networks被引用 15

一句话总结

NCRL 是一个端到端的神经模型，学习KG推理的组成性逻辑规则，实现可扩展的规则发现和对大型及未见图的强泛化，在规则学习方法中达到最先进的结果。

ABSTRACT

Learning logical rules is critical to improving reasoning in KGs. This is due to their ability to provide logical and interpretable explanations when used for predictions, as well as their ability to generalize to other tasks, domains, and data. While recent methods have been proposed to learn logical rules, the majority of these methods are either restricted by their computational complexity and can not handle the large search space of large-scale KGs, or show poor generalization when exposed to data outside the training set. In this paper, we propose an end-to-end neural model for learning compositional logical rules called NCRL. NCRL detects the best compositional structure of a rule body, and breaks it into small compositions in order to infer the rule head. By recurrently merging compositions in the rule body with a recurrent attention unit, NCRL finally predicts a single rule head. Experimental results show that NCRL learns high-quality rules, as well as being generalizable. Specifically, we show that NCRL is scalable, efficient, and yields state-of-the-art results for knowledge graph completion on large-scale KGs. Moreover, we test NCRL for systematic generalization by learning to reason on small-scale observed graphs and evaluating on larger unseen ones.

研究动机与目标

• 推动学习逻辑规则，以在知识图中提供可解释的解释和泛化。
• 提出一个神经框架，通过分层结构发现组成性的规则主体并推断规则头。
• 确保对大规模知识图谱的可扩展性，并评估对未见图的系统性泛化。
• 证明学习到的规则能够提升知识图谱补全和归纳关系推理，超越现有的规则学习方法。

提出的方法

• 将规则分数定义为规则主体与头部之间的语义一致性。
• 从知识图谱中采样路径，将每条路径用滑动窗口分成较短的组合（大小为2和3）。
• 使用循环注意力单元将选定的组合合并为单一谓词，通过空谓词实现对未见头部的允许。
• 使用基于RNN的编码器处理组合序列，并用基于softmax的选择器选择有意义的组合。
• 使用缩放点积注意力及相应的值投影，计算规则头部的基于注意力的似然性。
• 端到端训练，对预测头部使用交叉熵损失，并提取得分最高的规则用于规则集。

实验结果

研究问题

• RQ1 NCRL 能否学习到高质量的组成性规则，并在观察到的训练图之外实现泛化？
• RQ2 相较于现有的规则学习方法，NCRL 是否对大型知识图谱具有可扩展性且高效？
• RQ3 NCRL 是否对更大且未见的图、具有更长推理路径的情形表现出系统性泛化？
• RQ4 与最先进方法相比，NCRL 在知识图谱补全和归纳关系推理任务上的表现如何？

主要发现

• 在多个知识图谱补全基准测试中，NCRL 在规则学习方法中取得了最先进的结果。
• NCRL 提供了强大的系统性泛化，在更大、更未见的图以及更长的推理路径上表现良好。
• 与其他规则学习基线相比，NCRL 的训练显著更快，显示出可扩展性。
• 消融和稀疏性分析表明，在数据稀疏和规则数量变化的情况下，NCRL 仍保持稳健性能。
• 一个案例研究展示了多样且有意义的生成规则，与谓词的语义分组保持一致。