[论文解读] RNNLogic: Learning Logic Rules for Reasoning on Knowledge Graphs

Meng Qu, Junkun Chen+3 more|arXiv (Cornell University)|Oct 8, 2020

Advanced Graph Neural Networks参考文献 51被引用 28

一句话总结

RNNLogic 提出了一种联合学习框架，将逻辑规则视为隐变量，并使用基于 EM 的算法，同时训练一个通过 RNN 生成的规则生成器和一个推理预测器，以在知识图谱上进行推理。该方法在知识图谱推理任务中表现优于当前最先进方法，尤其在数据稀疏场景下表现优异，并能生成可解释的、高质量的逻辑规则，以提升模型的泛化能力和可解释性。

ABSTRACT

This paper studies learning logic rules for reasoning on knowledge graphs. Logic rules provide interpretable explanations when used for prediction as well as being able to generalize to other tasks, and hence are critical to learn. Existing methods either suffer from the problem of searching in a large search space (e.g., neural logic programming) or ineffective optimization due to sparse rewards (e.g., techniques based on reinforcement learning). To address these limitations, this paper proposes a probabilistic model called RNNLogic. RNNLogic treats logic rules as a latent variable, and simultaneously trains a rule generator as well as a reasoning predictor with logic rules. We develop an EM-based algorithm for optimization. In each iteration, the reasoning predictor is first updated to explore some generated logic rules for reasoning. Then in the E-step, we select a set of high-quality rules from all generated rules with both the rule generator and reasoning predictor via posterior inference; and in the M-step, the rule generator is updated with the rules selected in the E-step. Experiments on four datasets prove the effectiveness of RNNLogic.

研究动机与目标

• 为解决在知识图谱推理中学习高质量、可解释逻辑规则的挑战。
• 克服现有方法的局限性，如神经逻辑编程中的巨大搜索空间以及强化学习中的稀疏奖励问题。
• 通过将隐式逻辑规则与规则生成器和推理预测器联合训练，提升推理性能与泛化能力。
• 开发一种可扩展且高效的优化方法，降低搜索复杂度，同时保持规则质量。

提出的方法

• RNNLogic 在概率框架中将逻辑规则建模为隐变量，其中规则生成器通过条件于查询实体的循环神经网络生成规则。
• 推理预测器根据知识图谱和生成的逻辑规则计算答案的可能性，实现可微分推理。
• 采用基于 EM 的优化算法：在 E 步中，通过结合规则生成器与推理预测器的后验推断，选择高质量规则。
• 在 M 步中，更新规则生成器以模仿所选的高质量规则，从而提升未来规则生成的质量。
• 该方法支持端到端训练（使用实体与关系嵌入）以及仅依赖已学习逻辑规则的零样本推理。
• 使用束搜索（beam search）根据规则生成器的先验概率，为每个查询关系提取前 I 条规则。

实验结果

研究问题

• RQ1 具有隐式逻辑规则的联合学习框架是否能提升在不完整知识图谱上的推理性能？
• RQ2 如何在保持规则质量的前提下，有效缩小逻辑规则发现的搜索空间？
• RQ3 基于 EM 的优化策略是否在生成可解释且高效的逻辑规则方面优于强化学习？
• RQ4 RNNLogic 在训练数据极少的情况下，对下游任务的泛化能力如何？
• RQ5 所生成的逻辑规则是否既具有多样性又具备语义意义，适用于现实世界的知识图谱推理？

主要发现

• RNNLogic 在四个基准数据集上达到最先进性能，在无嵌入设置下，Kinship 数据集的均 reciprocal rank（MRR）为 0.639，UMLS 数据集为 0.745，显著优于基于 REINFORCE 的优化方法。
• 即使每个查询关系仅使用 10 条规则，RNNLogic 仍能实现具有竞争力的推理性能，证明了所生成规则的质量与可重用性。
• RNNLogic 在数据稀疏性方面更具鲁棒性：当训练三元组数量减少时，其性能下降速度慢于 RotatE，表明在低数据环境下具有强大的泛化能力。
• 在所有嵌入维度下，该方法均显著优于 RotatE，表明所学习的逻辑规则带来的增益远超仅依赖嵌入表示的推理能力。
• 在 FB15k-237 上的案例研究显示，RNNLogic 生成了多样且语义有意义的逻辑规则，包括子关系、两跳组合式及多跳规则，验证了其可解释性与表达能力。
• 基于 EM 的优化策略在 MRR 和规则质量方面均持续优于 REINFORCE，验证了联合学习与后验推断策略的有效性。