[论文解读] Unsupervised Neural-Symbolic Integration

Son N. Tran|arXiv (Cornell University)|Jun 6, 2017

Bayesian Modeling and Causal Inference参考文献 1被引用 5

一句话总结

本文提出了一种无监督神经符号集成框架，通过置信规则将命题逻辑和一阶逻辑规则编码进受限玻尔兹曼机（RBMs），实现无需监督标签的高效、可解释推理。该方法通过基于能量的推理和自编码器重建，实现了亲属关系推理的100%准确率，并在DNA启动子预测任务中表现出色。

ABSTRACT

Symbolic has been long considered as a language of human intelligence while neural networks have advantages of robust computation and dealing with noisy data. The integration of neural-symbolic can offer better learning and reasoning while providing a means for interpretability through the representation of symbolic knowledge. Although previous works focus intensively on supervised feedforward neural networks, little has been done for the unsupervised counterparts. In this paper we show how to integrate symbolic knowledge into unsupervised neural networks. We exemplify our approach with knowledge in different forms, including propositional logic for DNA promoter prediction and first-order logic for understanding family relationship.

研究动机与目标

• 通过在无监督学习框架中集成符号知识，弥合符号AI与无监督神经网络之间的鸿沟。
• 通过在无监督模型中实现完整、对称的推理，解决监督型神经符号系统仅能对输出类别进行推理的局限性。
• 通过置信规则，实现命题逻辑与一阶逻辑规则在RBMs中的通用、无损编码，避免启发式或分层近似。
• 在两个领域中展示该框架的实际效用：DNA启动子预测与亲属关系推理。
• 证明无监督RBMs结合符号约束可在无需推理标签的情况下实现高精度的推理任务。

提出的方法

• 将符号知识表示为置信规则——带置信度值的命题公式，实现与RBMs能量函数的直接映射。
• 利用最小化RBMs能量与最大化置信规则加权可满足性之间的等价性，确保符号推理在神经网络中得以保留。
• 通过析取范式（DNF）变换将若-则（Horn子句）规则转换为置信规则，实现在无需分离规则的情况下高效编码。
• 采用受限玻尔兹曼机（RBMs）作为底层神经架构，利用Gibbs采样进行推理，通过能量最小化实现推理。
• 在RBMs之上使用自编码器，从编码的符号输入中重建关系特征，实现对关系结构的无监督学习。
• 采用两部分模型：符号规则编码在左侧RBMs中，未知关系通过右侧自编码器组件的重建进行推断。

实验结果

研究问题

• RQ1 命题逻辑与一阶逻辑形式的符号知识能否无损地编码进无监督神经网络？
• RQ2 置信规则如何用于在基于能量的神经网络（如RBMs）中表示与推理符号规则？
• RQ3 所提出的方法能否在无监督设置中支持完整、对称的推理（例如，从任意两个变量推断任意一个），而不同于监督网络？
• RQ4 该框架在DNA启动子预测与亲属关系推理等实际推理任务中的有效性如何？
• RQ5 在关系推理中，使用共享参数的无监督学习方法是否优于判别式、基于矩阵的方法？

主要发现

• 在留一法验证中，该方法在未见亲属关系推理任务中实现了100%的准确率，表明在测试集上具有完美的泛化能力。
• 在10、20和30个样本的测试中，模型在识别正确关系时平均误差为0%，优于基于矩阵的方法（误差分别为0.4%、1.2%、2.0%）。
• 该框架成功地在RBMs中无启发式近似地编码了命题逻辑（如DNA启动子规则）与一阶逻辑（如家庭关系）规则。
• 置信规则的使用实现了通过能量最小化进行的高效推理，同时在神经网络中保留了符号推理的语义。
• 基于自编码器的关系特征重建使模型能够在目标未显式标注的情况下推断缺失关系。
• 该方法表明，结合符号约束的无监督RBMs可在复杂关系推理中实现高精度，其性能在某些场景下可媲美甚至超越判别式模型。