[论文解读] Semantic Probabilistic Layers for Neuro-Symbolic Learning

Kareem Ahmed, Stefano Teso+3 more|arXiv (Cornell University)|Jun 1, 2022

Neural Networks and Applications被引用 15

一句话总结

本文提出语义概率层（SPL），一种可微分神经网络层，通过概率电路强制对结构化输出施加逻辑约束，确保预测结果既准确又逻辑一致。SPL在层次多标签分类和路径查找任务中优于最先进神经符号方法，同时保证完全满足约束条件，并支持端到端训练。

ABSTRACT

We design a predictive layer for structured-output prediction (SOP) that can be plugged into any neural network guaranteeing its predictions are consistent with a set of predefined symbolic constraints. Our Semantic Probabilistic Layer (SPL) can model intricate correlations, and hard constraints, over a structured output space all while being amenable to end-to-end learning via maximum likelihood. SPLs combine exact probabilistic inference with logical reasoning in a clean and modular way, learning complex distributions and restricting their support to solutions of the constraint. As such, they can faithfully, and efficiently, model complex SOP tasks beyond the reach of alternative neuro-symbolic approaches. We empirically demonstrate that SPLs outperform these competitors in terms of accuracy on challenging SOP tasks including hierarchical multi-label classification, pathfinding and preference learning, while retaining perfect constraint satisfaction.

研究动机与目标

• 为解决神经网络在结构化输出预测（SOP）任务中常违反特定领域约束的问题。
• 设计一种模块化、可微分的神经网络层，将符号约束与概率推理相结合，同时不损害训练效率或表达能力。
• 在保证精确概率推理的同时，实现端到端学习，并将预测限制在预定义逻辑约束的有效解空间内。
• 克服现有神经符号方法的局限性，这些方法或无法保证约束满足，或在复杂约束下变得不可行。

提出的方法

• SPL 利用概率电路对结构化输出上的复杂、相关分布进行建模，同时通过精确推理强制实施硬性约束。
• 该层被设计为标准输出层（如 Sigmoid）的可微分、即插即用替代品，兼容任何神经网络架构。
• 它将输出上的学习分布与一个逻辑约束公式 K 结合，将分布的支持范围限制在仅满足 K 的赋值上。
• 当约束电路变得庞大时（如在路径查找任务中），采用双电路实现以保证可扩展性。
• 通过最大似然法进行训练，确保模型能同时学习分布和约束合规性。
• 该框架支持完整的概率语义，即使在复杂依赖关系下也能实现不确定性估计和高效推理。

实验结果

研究问题

• RQ1 能否设计一种可微分神经网络层，在不牺牲表达能力或训练效率的前提下，保证结构化输出预测中的逻辑一致性？
• RQ2 基于概率电路的神经符号层在具有复杂约束的真实SOP任务（如层次多标签分类和路径查找）中表现如何？
• RQ3 与无约束或基于启发式正则化的模型相比，引入符号约束在多大程度上提升了预测准确率？
• RQ4 所提出的层能否扩展到大规模约束空间，例如在包含数千条可能路径的网格路径查找中？

主要发现

• SPL 在层次多标签分类任务中显著优于最先进方法，在12个数据集中的11个上实现了比HMCNN更高的精确匹配分数。
• 在《魔兽争霸》最短路径任务中，SPL 相比最佳基线（FIL）将预测准确率提高了约23%，相比语义损失（SL）提高了19%，且始终生成有效路径。
• 在所有评估任务中，SPL 均保持了完美的约束满足，而无约束或基于损失的方法在推理时无法保证解的有效性。
• 该模型在多个基准测试中表现接近完美，例如在Diatoms数据集上F1达99.75%，在Imclef07a数据集上F1达99.40%，汉明分数仅出现轻微下降。
• 消融研究证实，过参数化增强了SPL的表达能力，从而在多个数据集上提升了性能。
• 双电路实现即使在大规模约束电路（最多达10^10个节点）下仍具备可扩展性，证明了其在复杂领域中的实际可行性。