[论文解读] Probabilistic Logic Neural Networks for Reasoning

Meng Qu, Jian Tang|arXiv (Cornell University)|Jun 20, 2019

Advanced Graph Neural Networks参考文献 51被引用 17

一句话总结

该论文提出 pLogicNet，一种概率逻辑神经网络，通过将马尔可夫逻辑网络与知识图谱嵌入相结合，以提升知识图谱推理性能。通过在基于嵌入的推理与基于变分期望最大化（EM）的逻辑规则加权之间交替进行，pLogicNet 高效融合了符号推理与深度学习，在多个基准测试中实现了最先进性能，且仅需 2–3 次迭代即可收敛。

ABSTRACT

Knowledge graph reasoning, which aims at predicting the missing facts through reasoning with the observed facts, is critical to many applications. Such a problem has been widely explored by traditional logic rule-based approaches and recent knowledge graph embedding methods. A principled logic rule-based approach is the Markov Logic Network (MLN), which is able to leverage domain knowledge with first-order logic and meanwhile handle their uncertainty. However, the inference of MLNs is usually very difficult due to the complicated graph structures. Different from MLNs, knowledge graph embedding methods (e.g. TransE, DistMult) learn effective entity and relation embeddings for reasoning, which are much more effective and efficient. However, they are unable to leverage domain knowledge. In this paper, we propose the probabilistic Logic Neural Network (pLogicNet), which combines the advantages of both methods. A pLogicNet defines the joint distribution of all possible triplets by using a Markov logic network with first-order logic, which can be efficiently optimized with the variational EM algorithm. In the E-step, a knowledge graph embedding model is used for inferring the missing triplets, while in the M-step, the weights of logic rules are updated based on both the observed and predicted triplets. Experiments on multiple knowledge graphs prove the effectiveness of pLogicNet over many competitive baselines.

研究动机与目标

• 为解决传统基于逻辑规则的方法在推理复杂度与不确定性处理方面的局限性，以及知识图谱嵌入方法在可解释性与领域知识融合方面的不足。
• 开发一种统一框架，利用一阶逻辑规则实现符号化知识表达，同时借助深度学习嵌入实现高效、可扩展的推理。
• 通过将嵌入作为近似推理机制，实现逻辑规则的有效且高效的训练，提升对缺失三元组的泛化能力与覆盖范围。
• 证明将逻辑规则与学习到的嵌入相结合，可在标准知识图谱基准数据集上实现更优性能。

提出的方法

• pLogicNet 使用马尔可夫逻辑网络（MLN）对所有三元组的联合分布进行建模，其中每条逻辑规则均关联一个可学习的权重。
• 该框架采用变分期望最大化（EM）算法：在 E 步中，知识图谱嵌入模型执行近似平均场推理，以估计隐藏（缺失）的三元组。
• 在 M 步中，基于观测到的和推断出的三元组，通过优化伪似然函数来更新规则权重，实现端到端训练。
• 模型通过随机梯度下降进行训练，支持在大规模知识图谱上实现高效优化。
• 采用四种规则模式——组合、逆关系、对称与子关系——以捕捉多样的关系模式。
• 通过在迭代训练中利用嵌入预测结果作为监督信号，动态提升逻辑规则的有效性。

实验结果

研究问题

• RQ1 将符号化逻辑规则与神经网络嵌入相结合，是否能提升知识图谱上的推理性能？
• RQ2 知识图谱嵌入的引入在多大程度上增强了马尔可夫逻辑网络的推理能力？
• RQ3 不同逻辑规则模式（如逆关系、对称关系、组合关系）对推理性能的贡献程度如何？
• RQ4 所提出框架的训练过程在收敛速度与可扩展性方面表现如何？
• RQ5 该模型是否能在具有不同关系结构的多样化知识图谱数据集上实现良好泛化？

主要发现

• 在 FB15k 和 FB15k-237 数据集上，pLogicNet 均达到最先进性能，其 MRR 分别为 0.844 和 0.441，在所有指标上均优于基线模型。
• 在 FB15k 上，pLogicNet 搭配 TransE 模型实现 Hit@1 达 81.2%，显著优于基线模型的 71.4%。
• 模型仅需 2–3 次迭代即可收敛，展现出极高的训练效率。
• 在 FB15k 上，第三轮迭代时逻辑规则已发现超过 76,000 个正向三元组，且精确率稳定在约 79%，表明嵌入提供了有效的监督信号。
• 使用 ComplEx 作为推理模型时，在 WN18RR 上取得最高的 H@10 55.7%，表明其在不同关系类型间具有强大的泛化能力。
• 不同规则模式的影响各异：在 FB15k 上，逆关系与对称关系规则最为有效；而在 FB15k-237 上，组合与子关系规则占据主导地位。