[论文解读] Neural Markov Logic Networks

Giuseppe Marra, Ondřej Kuželka|Lirias (KU Leuven)|May 31, 2019

Bayesian Modeling and Causal Inference参考文献 43被引用 7

一句话总结

神经马尔可夫逻辑网络（NMLNs）提出了一种可微分的、端到端的统计关系学习框架，该框架用可学习的神经势函数替代了马尔可夫逻辑网络中的手工设计逻辑规则。通过基于片段的神经势函数对关系对称性进行建模，NMLNs 实现了对关系结构的联合概率建模——在知识库补全、三元组分类和分子图生成任务中均取得了最先进性能，且无需依赖预定义的逻辑规则或常量嵌入。

ABSTRACT

We introduce neural Markov logic networks (NMLNs), a statistical relational learning system that borrows ideas from Markov logic. Like Markov logic networks (MLNs), NMLNs are an exponential-family model for modelling distributions over possible worlds, but unlike MLNs, they do not rely on explicitly specified first-order logic rules. Instead, NMLNs learn an implicit representation of such rules as a neural network that acts as a potential function on fragments of the relational structure. Similarly to many neural symbolic methods, NMLNs can exploit embeddings of constants but, unlike them, NMLNs work well also in their absence. This is extremely important for predicting in settings other than the transductive one. We showcase the potential of NMLNs on knowledge-base completion, triple classification and on generation of molecular (graph) data.

研究动机与目标

• 为解决传统马尔可夫逻辑网络（MLNs）依赖手工设计逻辑规则或组合结构学习的局限性。
• 开发一种统计关系学习模型，能够在不依赖显式一阶逻辑规则的情况下，学习关系结构上的联合概率分布。
• 实现在归纳设置和归纳设置下的有效学习，包括常量嵌入不可用的情况。
• 在最大熵框架下，统一神经网络（表征学习）与概率逻辑（不确定性建模）的优势。
• 在多样化任务中展示模型的有效性：知识库补全、三元组分类和分子图生成。

提出的方法

• NMLNs 基于关系结构的片段定义关系势函数，利用神经网络隐式表示逻辑规律。
• 该模型采用片段势函数——对可能世界中子结构（片段）的参数化函数——并通过梯度下降进行学习。
• 全局势函数由片段势函数构建，从而实现对整个关系结构上联合分布的建模。
• 该框架基于最小-最大熵原理，为模型设计提供了理论依据。
• 神经架构被设计用于利用关系数据中的对称性，从而实现在不同常量集合上的泛化能力。
• 该模型支持归纳和归纳推理，并在常量嵌入不可用时仍能有效运行。

实验结果

研究问题

• RQ1 基于神经网络的势函数能否有效替代统计关系模型中的手工设计逻辑规则？
• RQ2 如何在可微分的、端到端的学习框架中系统性地编码关系对称性，以实现联合概率建模？
• RQ3 NMLNs 是否能在常量嵌入不可用或未使用的情况下泛化到归纳设置？
• RQ4 在链接预测和分子生成等任务中，NMLNs 的性能与知识图嵌入等专用模型相比如何？
• RQ5 NMLNs 是否能像许多现有知识图嵌入方法所不能的那样，联合建模一元关系（属性）和二元关系（链接）？

主要发现

• NMLNs 在知识库补全和三元组分类任务中均达到最先进性能，优于传统MLNs和知识图嵌入方法。
• 该模型成功生成了化学性质在统计上与真实分子无异的分子图，展现出强大的生成能力。
• 即使在缺乏常量嵌入的情况下，NMLNs 仍表现良好，使其适用于超越归纳设置的归纳学习。
• 该框架支持对一元关系和二元关系的联合建模，这是标准知识图嵌入方法所不具备的能力。
• 实验表明，NMLNs 能够隐式学习到在经典MLNs中需要大量逻辑规则才能表达的复杂关系规律。
• 该模型具有可扩展性和高效性，特定子类可实现更快的推理，同时保持预测性能。