[论文解读] Neural Networks Enhancement through Prior Logical Knowledge.

Alessandro Daniele, Luciano Serafini|arXiv (Cornell University)|Sep 13, 2020

Natural Language Processing Techniques参考文献 22被引用 7

一句话总结

KENN 通过以全称量化的一阶逻辑（FOL）子句形式注入先验逻辑知识，增强神经网络，从而生成一个知识感知的最终层，用于优化预测。该方法在多标签分类和关系学习任务中表现更优，在 VRD 和 Citeseer 数据集上均实现了性能提升，无论使用自动提取还是人工整理的知识。

ABSTRACT

In the recent past, there has been a growing interest in Neural-Symbolic Integration frameworks, i.e., hybrid systems that integrate connectionist and symbolic approaches: on the one hand, neural networks show remarkable abilities to learn from a large amount of data in presence of noise, on the other, pure symbolic methods can perform reasoning as well as learning from few samples. By combining the two paradigms, it should be possible to obtain a system that can both learn from data and apply inference over some background knowledge. Here we propose KENN (Knowledge Enhanced Neural Networks), a Neural-Symbolic architecture that injects prior knowledge, codified in a set of universally quantified FOL clauses, into a neural network model. In KENN, clauses are used to generate a new final layer of the neural network which modifies the initial predictions based on the knowledge. Among the advantages of this strategy, there is the possibility to include additional learnable parameters, the clause weights, each of which represents the strength of a specific clause. We evaluated KENN on two standard datasets for multi-label classification, showing that the injection of clauses, automatically extracted from the training data, sensibly improves the performances. In a further experiment with manually curated knowledge, KENN outperformed state-of-the-art methods on the VRD Dataset, where the task is to classify relationships between detected objects in images. Finally, to evaluate how KENN deals with relational data, we tested it with different learning configurations on Citeseer, a standard dataset for Collective Classification. The obtained results show that KENN is capable of increasing the performances of the underlying neural network even in the presence of relational data obtaining results in line with other methods that combine learning with logic.

研究动机与目标

• 解决纯神经网络在少样本情况下泛化能力不足以及难以融入结构化背景知识的问题。
• 通过将符号系统与神经学习能力结合，克服符号系统在噪声环境或数据稀缺场景下的脆弱性。
• 开发一种神经符号框架，支持端到端训练，同时通过逻辑子句保持可解释性。
• 评估以自动提取和人工整理形式注入逻辑知识在多样化学习任务中的有效性。
• 证明知识增强的神经网络在关系分类和多标签分类任务中可达到最先进或具有竞争力的性能。

提出的方法

• KENN 将以全称量化一阶逻辑（FOL）子句形式编码的先验知识集成到神经网络的最终层中。
• 系统基于 FOL 子句构建新层，利用逻辑推理对初始神经网络预测结果进行修正。
• 每个 FOL 子句均关联一个可学习的权重参数，用于表示其在预测优化过程中的强度或置信度。
• 模型支持端到端训练，允许梯度通过神经网络和子句权重参数反向传播。
• 知识注入在推理阶段应用，利用逻辑约束对网络的初始输出概率进行校正或优化。
• 该框架支持从训练数据中自动提取子句，也支持针对特定任务的人工知识整理。

实验结果

研究问题

• RQ1 以 FOL 子句形式注入逻辑知识是否能提升神经网络在多标签分类任务中的性能？
• RQ2 当使用自动提取的逻辑子句与人工整理的知识时，KENN 的有效性如何？
• RQ3 KENN 是否能有效处理关系数据，特别是在集体分类设置中？
• RQ4 引入可学习的子句权重是否相比固定逻辑约束能提升模型的适应性和性能？
• RQ5 在 VRD 等关系学习基准测试中，KENN 与最先进方法相比表现如何？

主要发现

• 在使用从训练数据中自动提取的 FOL 子句时，KENN 显著提升了在两个标准多标签分类数据集上的性能。
• 在 VRD 数据集上，使用人工整理的逻辑知识时，KENN 在图像中对象间关系分类任务中优于最先进方法。
• 在 Citeseer 数据集上，KENN 达到了与专用关系学习方法相当的性能，证明其在集体分类任务中的有效性。
• 引入可学习的子句权重使模型能够自适应地权衡不同逻辑规则的影响，提升了鲁棒性和泛化能力。
• 逻辑知识的整合使预测结果更加可靠且可解释，尤其在数据稀缺或噪声较大的场景下表现更优。