[论文解读] Premise Selection for Theorem Proving by Deep Graph Embedding

Mingzhe Wang, Yihe Tang+2 more|arXiv (Cornell University)|Sep 28, 2017

Advanced Graph Neural Networks参考文献 31被引用 26

一句话总结

该论文提出了一种用于自动化定理证明中前提选择的深度图嵌入方法，将高阶逻辑公式表示为对变量重命名不变的语法和语义保持图。通过基于邻域结构迭代更新节点嵌入并聚合形成图级表示，该方法在HolStep数据集上实现了90.3%的准确率——相比之前最先进方法提高了7.3个百分点。

ABSTRACT

We propose a deep learning-based approach to the problem of premise selection: selecting mathematical statements relevant for proving a given conjecture. We represent a higher-order logic formula as a graph that is invariant to variable renaming but still fully preserves syntactic and semantic information. We then embed the graph into a vector via a novel embedding method that preserves the information of edge ordering. Our approach achieves state-of-the-art results on the HolStep dataset, improving the classification accuracy from 83% to 90.3%.

研究动机与目标

• 通过改进前提选择以减少搜索空间，解决自动化定理证明中的组合爆炸问题。
• 克服基于序列的模型无法捕捉数学公式中结构关系的局限性。
• 开发一种高阶逻辑公式的图表示方法，保持语法和语义结构的同时对变量重命名保持不变。
• 设计一种深度学习框架，通过迭代邻域聚合将图嵌入为向量，实现对结构特征的端到端学习。
• 在HolStep数据集上实现前提选择的最先进性能，超越先前方法提升分类准确率。

提出的方法

• 将每个高阶逻辑公式表示为有向、有根的解析树，其中节点对应逻辑运算符、谓词、函数、变量和常量。
• 从解析树构建图，通过边编码父子关系和绑定关系，通过将变量名替换为共享标记（如VAR）确保对变量重命名的不变性。
• 使用为每种节点类型（如函数、变量、常量）学习的嵌入初始化节点嵌入，通过结构化消息传递保留边的顺序信息。
• 执行图神经网络（GNN）风格的迭代消息传递：基于邻居嵌入的多重集更新每个节点的嵌入，通过可学习聚合机制保留边的顺序。
• 使用全局平均池化对节点嵌入进行池化，生成整个公式图的固定大小向量表示。
• 通过反向传播端到端训练整个模型以分类前提相关性，在HolStep数据集上使用交叉熵损失进行优化。

实验结果

研究问题

• RQ1 与基于序列的标记表示相比，基于图的高阶逻辑公式表示是否能更好地捕捉语法和语义结构？
• RQ2 一种保留边顺序且对变量重命名不变的深度图嵌入方法，是否能提升前提选择的准确率？
• RQ3 消息传递步骤的数量如何影响图嵌入模型的性能？
• RQ4 该模型在多大程度上对变量重命名具有鲁棒性？是否能泛化到训练数据偏差之外？
• RQ5 基于图的嵌入能否学习到有意义且语义一致的表示，反映公式之间的结构相似性？

主要发现

• 所提出的FormulaNet模型在HolStep数据集上实现了90.3%的分类准确率，相比之前最先进方法（83%）提升了7.3个百分点。
• 在原始变量名图上训练的模型在原始验证集上达到89.8%准确率，但在重命名验证集上下降至83.5%，表明对变量名模式存在过拟合。
• 在重命名图上训练的模型（对变量名不变）在原始集和重命名集上均保持89.9%的准确率，证明了其对变量重命名的鲁棒性及泛化能力。
• 消融研究显示，即使在零消息传递步骤下，模型仍能达到81.5%的准确率，表明节点级特征（如函数名和常量名）具有显著贡献。
• 随着消息传递步骤增加，性能持续提升，峰值出现在3–4步，之后收益递减，表明局部图邻域（半径最多3）已捕获了大部分相关结构信息。
• t-SNE可视化证实，嵌入相似的节点具有结构和语义上相似的局部图模式，验证了模型学习到有意义且可解释表示的能力。