[论文解读] Neural Logic Machines

Honghua Dong, Jiayuan Mao+4 more|arXiv (Cornell University)|Apr 26, 2019

Natural Language Processing Techniques被引用 46

一句话总结

神经逻辑机将神经网络与符号逻辑结合起来，以学习提升的规则并对更大规模的实例进行泛化，在关系推理、决策和规划任务上实现强泛化。

ABSTRACT

We propose the Neural Logic Machine (NLM), a neural-symbolic architecture for both inductive learning and logic reasoning. NLMs exploit the power of both neural networks---as function approximators, and logic programming---as a symbolic processor for objects with properties, relations, logic connectives, and quantifiers. After being trained on small-scale tasks (such as sorting short arrays), NLMs can recover lifted rules, and generalize to large-scale tasks (such as sorting longer arrays). In our experiments, NLMs achieve perfect generalization in a number of tasks, from relational reasoning tasks on the family tree and general graphs, to decision making tasks including sorting arrays, finding shortest paths, and playing the blocks world. Most of these tasks are hard to accomplish for neural networks or inductive logic programming alone.

研究动机与目标

• 激励一个能够学习提升的一阶逻辑规则的神经符号系统。
• 处理超出标准图网络的高阶关系数据与量词。
• 实现无需手工模板的可扩展规则归纳。
• 展示从小型训练实例向更大测试实例的泛化能力。

提出的方法

• 将逻辑谓词表示为以固定对象集合为基础的概率张量。
• 将逻辑规则实现为执行提升布尔逻辑和量化的神经算子。
• 使用多层、多组结构，进行组间与组内计算，以实现类似Horn子句的推理。
• 使用扩张与约简元规则来实现全称量化和存在量化。
• 通过深度D、宽度B，以及每层少量输出谓词来控制模型容量以管理复杂性。
• 根据任务，提供监督学习或强化学习的训练。

实验结果

研究问题

• RQ1 NLMs 能否诱导提升规则，使之对比训练中看到的对象集合更大的一组对象进行泛化？
• RQ2 在神经框架内，NLMs 如何处理高阶关系和量词？
• RQ3 就规则复杂度与秩（arity）而言，NLM 的可扩展性如何？
• RQ4 NLMs 是否比纯神经或纯符号基线更有效地解决关系推理、图任务和规划问题？

主要发现

• NLMs 能从小规模训练推广到关系推理和决策任务的大规模任务。
• NLMs 在blocks world、排序和最短路径任务中表现出色，常常超过基线。
• NLMs 能恢复提升规则并对部分Horn子句集合执行正向链推理。
• 该架构支持多条-元谓词和量词，能够对高阶关系数据进行推理。
• 实验显示在家族树、通用图和算法任务中具备良好泛化。