[论文解读] Tunneling Neural Perception and Logic Reasoning through Abductive Learning

Wang-Zhou Dai, Qiuling Xu+2 more|arXiv (Cornell University)|Feb 4, 2018

Neural Networks and Applications参考文献 36被引用 16

一句话总结

本文提出了一种新型框架——溯因学习（abductive learning），通过模仿人类试错推理过程（如玛雅文字的破译），统一神经感知与逻辑推理。该框架引入了神经-逻辑机器（Neural-Logical Machine），能够从少量手写方程中进行学习，并泛化到复杂方程，其在联合感知-推理任务中的表现优于当前最先进神经网络模型。

ABSTRACT

Perception and reasoning are basic human abilities that are seamlessly connected as part of human intelligence. However, in current machine learning systems, the perception and reasoning modules are incompatible. Tasks requiring joint perception and reasoning ability are difficult to accomplish autonomously and still demand human intervention. Inspired by the way language experts decoded Mayan scripts by joining two abilities in an abductive manner, this paper proposes the abductive learning framework. The framework learns perception and reasoning simultaneously with the help of a trial-and-error abductive process. We present the Neural-Logical Machine as an implementation of this novel learning framework. We demonstrate that--using human-like abductive learning--the machine learns from a small set of simple hand-written equations and then generalizes well to complex equations, a feat that is beyond the capability of state-of-the-art neural network models. The abductive learning framework explores a new direction for approaching human-level learning ability.

研究动机与目标

• 解决当前机器学习系统中感知与推理模块之间的根本性不兼容问题。
• 使机器能够以类人溯因方式，联合学习感知与推理，其灵感源自玛雅象形文字的破译过程。
• 开发一种将符号逻辑与可微神经感知相结合的框架，实现端到端学习。
• 证明小规模、少样本训练可实现对复杂、未见逻辑推理任务的强大泛化能力。

提出的方法

• 溯因学习框架采用试错过程，对感知到的符号提出假设，并通过逻辑规则检验其一致性。
• 实现神经-逻辑机器作为可微架构，通过神经感知将原始输入（如手写方程）映射为符号表示。
• 通过一阶逻辑规则强制实现逻辑一致性，利用溯因推理生成并验证关于符号解释的假设。
• 系统在可能的符号解释空间中执行启发式搜索，受领域知识和逻辑验证的引导。
• 通过优化与搜索-based梯度近似实现逻辑模块的反向传播，支持端到端训练。
• 该框架利用可微神经网络进行感知，同时借助符号推理进行一致性检查，实现联合学习。

实验结果

研究问题

• RQ1 感知与推理能否在一个统一的学习框架中实现，以模仿人类的溯因推理？
• RQ2 模型能否仅从少量手写方程样本中学习复杂逻辑推理？
• RQ3 将符号逻辑与可微感知相结合，是否能提升泛化能力，超越标准神经网络？
• RQ4 溯因学习能否自动从原始数据中推断出基本符号，而无需人工定义的符号映射？

主要发现

• 神经-逻辑机器能够从少量简单手写方程中成功学习，并泛化到复杂方程，其能力超越当前最先进神经网络模型。
• 溯因学习框架通过在神经感知与符号逻辑之间建立双向通道，实现了感知与推理的联合学习。
• 该系统通过利用背景知识与一致性检查验证符号解释，展现出类人推理能力，正如玛雅文字破译的类比所示。
• 该框架表明，符号推理可与可微感知有效集成，支持端到端训练并提升泛化能力。
• 该方法在需要逻辑一致性与符号操作的推理任务中，优于标准神经网络。
• 该方法支持感知与推理组件在相似任务间的复用，暗示其在迁移学习与知识复用方面具有潜力。