[论文解读] Relational Neural Machines

Giuseppe Marra, Michelangelo Diligenti+3 more|arXiv (Cornell University)|Feb 6, 2020

Bayesian Modeling and Causal Inference参考文献 31被引用 12

一句话总结

本文提出关系神经机器（RNM），一种神经符号框架，通过联合训练深度神经网络与一阶逻辑推理器，提升在不确定性下的推理能力。通过将监督学习与可微逻辑推理相结合，RNM 在关系分类任务上达到最先进性能，在 Citeseer 引用网络数据集上优于标准神经网络与符号基线模型。

ABSTRACT

Deep learning has been shown to achieve impressive results in several tasks where a large amount of training data is available. However, deep learning solely focuses on the accuracy of the predictions, neglecting the reasoning process leading to a decision, which is a major issue in life-critical applications. Probabilistic logic reasoning allows to exploit both statistical regularities and specific domain expertise to perform reasoning under uncertainty, but its scalability and brittle integration with the layers processing the sensory data have greatly limited its applications. For these reasons, combining deep architectures and probabilistic logic reasoning is a fundamental goal towards the development of intelligent agents operating in complex environments. This paper presents Relational Neural Machines, a novel framework allowing to jointly train the parameters of the learners and of a First--Order Logic based reasoner. A Relational Neural Machine is able to recover both classical learning from supervised data in case of pure sub-symbolic learning, and Markov Logic Networks in case of pure symbolic reasoning, while allowing to jointly train and perform inference in hybrid learning tasks. Proper algorithmic solutions are devised to make learning and inference tractable in large-scale problems. The experiments show promising results in different relational tasks.

研究动机与目标

• 解决纯符号化深度学习在捕捉关系知识与不确定性推理方面的局限性。
• 克服现有神经符号框架中集成脆弱与可扩展性差的问题。
• 实现神经网络参数与逻辑规则权重的联合优化，以提升泛化能力与可解释性。
• 提供一种可扩展、可微的框架，统一支持监督学习与符号推理。

提出的方法

• RNM 将深度神经网络用于特征提取，同时结合一阶逻辑推理器进行关系推理。
• 该框架使用可微推理，通过逻辑规则反向传播梯度，支持端到端训练。
• 采用类似 EM 的算法处理部分观测数据，支持仅部分标签可用时的训练。
• 规则赋予权重，并与神经参数联合学习，使模型能根据数据自适应调整规则重要性。
• 输出层由逻辑推理引擎替代，实现预测与网络最后一层的解耦。
• 该方法支持归纳学习与归纳学习两种设置，增强在真实场景中的鲁棒性。

实验结果

研究问题

• RQ1 神经符号框架能否联合优化神经网络权重与逻辑规则参数，以提升关系推理能力？
• RQ2 神经与符号组件的联合训练在标注数据有限的关系分类任务中，对性能有何影响？
• RQ3 RNM 在准确率与可扩展性方面，能在多大程度上超越标准神经网络与符号推理系统（如马尔可夫逻辑网络）？
• RQ4 当训练过程中仅部分标签可用时，该框架如何处理部分观测数据？
• RQ5 RNM 中的可微逻辑推理能否在保持可解释性与泛化能力的同时，有效学习规则权重？

主要发现

• 在 Citeseer 数据集中，当使用 90% 的训练数据且处于部分观测情况下，RNM 达到 78.0% 的准确率，优于基线神经网络（72.6%）与 SBR（78.0%）。
• 当仅使用 10% 的训练数据时，RNM 在部分观测设置下达到 70.8% 的准确率，显著优于基线（64.0%）与 SBR（70.3%）。
• 在完全观测情况下，RNM 使用 90% 的训练数据时达到 73.2% 的准确率，超过基线（72.3%）与 SBR（72.6%）。
• 该模型在所有数据比例下均表现出一致的性能提升，显示出对数据稀缺的鲁棒性。
• RNM 学习最优规则权重的能力使其能更好地适应特定领域中的引用模式，如不同社区内部的引用频率差异。
• 该框架成功结合了深度学习与符号推理的优势，在准确率上超过纯符号化与纯符号化基线模型。