[论文解读] PDP: A General Neural Framework for Learning Constraint Satisfaction Solvers

Saeed Amizadeh, Sergiy Matusevych+1 more|arXiv (Cornell University)|Mar 5, 2019

Constraint Satisfaction and Optimization参考文献 50被引用 7

一句话总结

本文提出PDP，一种通过将概率推理与可微消息传递相结合，统一学习约束满足问题（CSP）求解器的通用神经框架。该方法通过能量最小化实现端到端、无监督训练，使模型能够学习超越传统启发式方法的非贪婪搜索策略，在k-SAT问题上达到与最先进求解器相当的性能，尤其在基于领域特定分布进行训练时表现更优。

ABSTRACT

There have been recent efforts for incorporating Graph Neural Network models for learning full-stack solvers for constraint satisfaction problems (CSP) and particularly Boolean satisfiability (SAT). Despite the unique representational power of these neural embedding models, it is not clear how the search strategy in the learned models actually works. On the other hand, by fixing the search strategy (e.g. greedy search), we would effectively deprive the neural models of learning better strategies than those given. In this paper, we propose a generic neural framework for learning CSP solvers that can be described in terms of probabilistic inference and yet learn search strategies beyond greedy search. Our framework is based on the idea of propagation, decimation and prediction (and hence the name PDP) in graphical models, and can be trained directly toward solving CSP in a fully unsupervised manner via energy minimization, as shown in the paper. Our experimental results demonstrate the effectiveness of our framework for SAT solving compared to both neural and the state-of-the-art baselines.

研究动机与目标

• 解决现有神经求解器缺乏可解释搜索策略且受限于贪婪搜索的局限性。
• 开发一种通用的、无监督的CSP求解器训练框架，可适应领域特定的问题分布。
• 在可微、端到端可训练的架构中，统一概率推理与深度学习，支持非贪婪搜索策略。
• 在无需监督监督或手工特征的情况下，学习高效、领域特定的推理算法。
• 通过将经典推理原理嵌入可学习的神经框架，弥合神经符号方法与经典求解器之间的差距。

提出的方法

• PDP框架围绕三个核心操作构建：传播、消去和预测，均建模为可微组件。
• 传播通过消息传递机制在约束图上传播消息，类似于图模型中的信念传播。
• 消去基于学习到的置信度分数选择变量赋值，通过可训练组件实现对贪婪选择的偏离。
• 预测生成初始变量赋值或消息先验，使模型能够处理多样化的实例。
• 整个框架通过无监督能量最小化进行训练，其中能量函数编码了约束满足度与变量赋值的一致性。
• 该框架支持混合配置，例如结合固定的经典传播器（如SP）与可训练的消去器，实现灵活的模型设计。

实验结果

研究问题

• RQ1 神经框架能否在通过概率推理保持可解释性的同时，学习CSP的非贪婪、高效搜索策略？
• RQ2 无监督的能量基训练目标在多大程度上能促进神经求解器在不同CSP分布上的泛化能力？
• RQ3 PDP框架能否适应非均匀、领域特定的问题结构（如模块化k-SAT），而不仅限于均匀随机实例？
• RQ4 可微、端到端可训练的求解器在多大程度上能匹配或超越最先进的CDCL求解器（如Glucose）的性能？
• RQ5 PDP框架如何在神经设置中支持经典技术（如重启和回溯）的集成？

主要发现

• PDP框架在均匀随机k-SAT问题上优于经典和神经基线，展现出强大的泛化与学习能力。
• 在模块化4-SAT问题上进行训练时，PDP求解器显著优于在均匀4-SAT上训练的模型，表明其对领域特定结构的有效适应能力。
• 尽管采用无监督方式训练，PDP模型在模块化k-SAT实例上的性能已接近高度优化的Glucose求解器。
• 该框架成功学习了非贪婪搜索策略，表现为在结构化问题集上性能超越贪婪基线。
• PDP框架可将经典消息传递算法（如SP、BP）表述为可微、可并行化的组件，适用于GPU加速。
• 该模型根据初始消息值的不同，表现出多种解寻找行为，支持通过批量复制自然集成重启策略。