[论文解读] SATformer: Transformer-Based UNSAT Core Learning

Zhengyuan Shi, Min Li+6 more|arXiv (Cornell University)|Sep 2, 2022

Software Engineering Research被引用 4

一句话总结

SATformer 提出了一种基于 Transformer 的新型方法，用于布尔可满足性（SAT）求解，通过学习最小不可满足核心（MUCs）作为监督信号，使用图神经网络（GNN）生成子句嵌入，并采用分层 Transformer 来建模多子句之间的相互作用。该方法在端到端学习型 SAT 求解器中达到最先进性能，通过聚焦于导致不可满足性的子句，显著优于先前的方法。

ABSTRACT

This paper introduces SATformer, a novel Transformer-based approach for the Boolean Satisfiability (SAT) problem. Rather than solving the problem directly, SATformer approaches the problem from the opposite direction by focusing on unsatisfiability. Specifically, it models clause interactions to identify any unsatisfiable sub-problems. Using a graph neural network, we convert clauses into clause embeddings and employ a hierarchical Transformer-based model to understand clause correlation. SATformer is trained through a multi-task learning approach, using the single-bit satisfiability result and the minimal unsatisfiable core (MUC) for UNSAT problems as clause supervision. As an end-to-end learning-based satisfiability classifier, the performance of SATformer surpasses that of NeuroSAT significantly. Furthermore, we integrate the clause predictions made by SATformer into modern heuristic-based SAT solvers and validate our approach with a logic equivalence checking task. Experimental results show that our SATformer can decrease the runtime of existing solvers by an average of 21.33%.

研究动机与目标

• 通过将监督信号从实例级转变为基于子句的监督（使用最小不可满足核心，MUCs），提升端到端学习型 SAT 求解器的性能。
• 通过引入分层 Transformer 架构，建模超越成对依赖关系的复杂子句相互作用。
• 改进注意力机制，使模型聚焦于可能构成 MUC 的子句，从而提升不可满足性检测能力。
• 证明 MUC 引导的多任务学习可显著提升整体 SAT 求解性能。

提出的方法

• 使用图神经网络（GNN）从 CNF 格式的公式生成子句嵌入，捕捉子句级别的结构特征。
• 模型采用分层 Transformer，将子句分组为更高阶的单元，实现在不同粒度上对多子句关系的建模。
• 自注意力权重动态调整，优先关注对 MUC 有贡献的子句，由 MUC 预测作为监督信号引导。
• 多任务学习将 SAT 求解与 MUC 预测相结合，模型同时优化可满足性和子句对不可满足性的贡献。
• 每 10 个训练迭代对子句顺序进行一次随机化，以提升鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 将学习最小不可满足核心（MUCs）作为监督信号，能否提升端到端学习型 SAT 求解器的性能？
• RQ2 与标准的成对自注意力相比，分层 Transformer 架构是否能更好地捕捉 SAT 求解中的多子句相互作用？
• RQ3 MUC 引导的注意力机制如何提升模型检测不可满足性的能力？
• RQ4 与 MUC 预测结合的多任务学习在多大程度上提升了整体 SAT 求解的准确性？

主要发现

• SATformer 在 SR(3–10) 上达到 94% 的准确率，在 SR(20) 上为 77%，在 SR(40) 上为 68%，在 SR(60) 上为 61%，显著优于 SATformer-NoHier，后者在较大实例上退化为随机猜测。
• 分层结构使模型能够正确预测子句顺序重排后的不可满足实例（如 φU2），而单层模型则失败，表明对子句顺序具有更强的鲁棒性。
• 移除 MUC 监督（SATformer-NoCore）后，所有数据集上的准确率均下降，证实 MUC 预测是性能提升的关键因素。
• SATformer-NoHier（缺乏分层建模）在 SR(3–10) 上仅达到 70% 的准确率，表明仅靠成对注意力不足以处理复杂的子句相互作用。