[论文解读] NeurASP: Embracing Neural Networks into Answer Set Programming

Zhun Yang, Adam Ishay+1 more|arXiv (Cornell University)|Jul 15, 2023

Multi-Agent Systems and NegotiationComputer Science被引用 3

一句话总结

NeurASP 通过将神经网络输出视为原子事实上的概率分布，首次实现了神经网络与答案集编程（ASP）的创新性融合，支持混合的亚符号与符号推理。它通过符号约束增强感知鲁棒性，并通过基于规则的语义正则化改进神经网络训练，在Sudoku和最短路径预测等任务中实现了高准确率，且所需数据量极少。

ABSTRACT

We present NeurASP, a simple extension of answer set programs by embracing neural networks. By treating the neural network output as the probability distribution over atomic facts in answer set programs, NeurASP provides a simple and effective way to integrate sub-symbolic and symbolic computation. We demonstrate how NeurASP can make use of a pre-trained neural network in symbolic computation and how it can improve the neural network's perception result by applying symbolic reasoning in answer set programming. Also, NeurASP can be used to train a neural network better by training with ASP rules so that a neural network not only learns from implicit correlations from the data but also from the explicit complex semantic constraints expressed by the rules.

研究动机与目标

• 为解决人工智能中低层次感知与高层次推理的融合挑战，通过结合神经网络与符号逻辑。
• 使神经网络能够利用符号约束提升鲁棒性与泛化能力，尤其在数据稀缺场景下。
• 通过强制执行语义与结构约束，使符号推理能够纠正神经网络感知错误。
• 通过整合显式语义规则作为正则化项，增强神经网络训练，减少对大规模标注数据集的依赖。
• 提供一个灵活可扩展的框架，支持复杂推理结构（如默认推理、聚合、优化）在神经符号系统中的应用。

提出的方法

• 通过形式为 |nn(m(e,t),[v1,…,vn])| 的神经原子，将神经网络输出建模为原子事实上的概率分布，其中 m 为神经网络标识符，t 为输入指针。
• 通过将神经输出视为概率事实，将其整合进 ASP，利用标准 ASP 求解器实现稳定模型计算。
• 应用符号推理检测并纠正感知错误——例如无效的Sudoku配置或不一致的对象关系——通过强制执行领域约束。
• 通过从ASP推理中反向传播语义损失至神经原子，利用基于规则的约束作为隐式正则化项，增强神经网络训练。
• 该框架支持复杂的ASP结构，如默认推理、聚合与优化规则，使知识表示能力优于先前的神经符号模型。
• 训练数据可为任意命题公式，不限于单个原子，相比DeepProbLog等模型更具灵活性。

实验结果

研究问题

• RQ1 符号推理能否通过检测并纠正语义约束违规，提升神经网络感知的鲁棒性？
• RQ2 ASP规则在有限训练数据下，作为语义正则化器在提升神经网络泛化能力方面效果如何？
• RQ3 将神经输出整合进ASP在Sudoku或最短路径等推理密集型任务中，性能提升程度如何？
• RQ4 在表达能力、可扩展性与训练效率方面，NeurASP 与现有神经符号框架相比表现如何？
• RQ5 该框架能否扩展以处理动态或上下文敏感约束，如图问题中随机移除边的情况？

主要发现

• 在最短路径任务中，使用ASP规则（p-r-o）使 'r' 约束的预测准确率达到100%，而仅使用MLP时准确率为96.6%。
• 当训练中包含 'nr'（随机移除边）规则时，模型在 'nr' 约束上的准确率达到70.5%，显著高于无规则基线的32.9%。
• 在Sudoku数字识别任务中，NeurASP 即使在神经网络误分类数字的情况下，也能通过ASP强制执行Sudoku的唯一性约束，实现正确解谜。
• 该框架显著减少了对大规模训练数据的依赖，例如在极小数据量下通过规则增强训练，准确率仍可达100%。
• NeurASP 在所有约束类别中均优于基线MLP，在复杂多约束场景（如 p-r-o-nr）中提升最显著，准确率从23.0%提升至45.7%。
• 从ASP推理中获得的语义损失成功反向传播至神经网络，实现了基于规则的训练，使泛化能力超越纯数据驱动模式。