[论文解读] Premise selection with neural networks and distributed representation of features

Andrzej Kucik, Konstantin Korovin|arXiv (Cornell University)|Jul 26, 2018

Topic Modeling参考文献 12被引用 6

一句话总结

该论文提出了一种新型的自动定理证明前提选择方法，通过基于神经网络的降维技术，对函数符号进行分布式表示。通过将稀疏的高维函数符号转换为紧凑的512维稠密嵌入，该方法使一个简单的两层前馈神经网络在前提选择任务中实现了76.45%的准确率，显著提升了传统稀疏表示方法在效率和性能方面的表现。

ABSTRACT

We present the problem of selecting relevant premises for a proof of a given statement. When stated as a binary classification task for pairs (conjecture, axiom), it can be efficiently solved using artificial neural networks. The key difference between our advance to solve this problem and previous approaches is the use of just functional signatures of premises. To further improve the performance of the model, we use dimensionality reduction technique, to replace long and sparse signature vectors with their compact and dense embedded versions. These are obtained by firstly defining the concept of a context for each functor symbol, and then training a simple neural network to predict the distribution of other functor symbols in the context of this functor. After training the network, the output of its hidden layer is used to construct a lower dimensional embedding of a functional signature (for each premise) with a distributed representation of features. This allows us to use 512-dimensional embeddings for conjecture-axiom pairs, containing enough information about the original statements to reach the accuracy of 76.45% in premise selection task, only with simple two-layer densely connected neural networks.

研究动机与目标

• 为自动定理证明中的前提选择挑战提供解决方案，其中为一个论断选择相关公理至关重要但计算成本高昂。
• 克服传统稀疏表示方法（如独热编码或词级别编码）在逻辑公式中面临的维度灾难问题。
• 通过使用神经网络学习函数符号的稠密、低维分布式表示，提升模型的效率与准确率。
• 证明仅依赖函数符号（无需完整逻辑结构）即可支持高准确率的前提选择。
• 通过将高维输入替换为紧凑嵌入，使用轻量级全连接网络实现更快的推理速度。

提出的方法

• 从一阶逻辑公式中提取函数符号，仅保留函数符并统计其出现次数。
• 将每个符号表示为13,217维的独热向量，随后通过训练有素的神经网络进行降维，以预测上下文相关的函数符。
• 训练一个浅层神经网络以预测上下文中的周围函数符，利用隐藏层输出作为512维的稠密嵌入。
• 将这些学习到的嵌入作为输入特征，输入到一个两层全连接神经网络中，用于对论断-公理对进行相关或无关的分类。
• 在训练过程中应用最大池化和dropout技术，以减少过拟合并提升泛化能力。
• 使用来自Mizar40和DeepMath数据集的522,528对平衡数据集（包括522,528个正样本（有用）和负样本（冗余））进行训练。

实验结果

研究问题

• RQ1 仅依赖函数符号（无需完整逻辑结构）是否足以支持自动定理证明中的高准确率前提选择？
• RQ2 通过基于神经网络的上下文建模进行降维，能否生成紧凑且信息丰富的嵌入，从而优于稀疏表示？
• RQ3 当使用学习到的稠密嵌入作为输入时，一个简单的两层前馈网络是否能实现与更深或更复杂架构相当的性能？
• RQ4 负样本的选择在多大程度上影响模型性能，尤其是在负样本并非真正无关的情况下？
• RQ5 函数符号的分布式表示是否能捕捉有意义的语义或结构关系，即使缺乏显式的语法或逻辑上下文？

主要发现

• 所提出的方法仅使用函数符号的512维分布式嵌入，即在前提选择任务中实现了76.45%的准确率。
• 该模型在使用更简单的神经网络架构的同时，优于以往使用稀疏表示（如字符级或词级）的方法。
• 通过上下文感知的神经网络训练进行降维，显著降低了输入维度，同时保持了强大的预测能力。
• 在最终训练阶段，模型表现出较低的假阴性率（11.0%），表明对相关前提具有较强的召回能力。
• 全连接网络优于卷积或循环神经网络架构，原因在于符号在函数符号中的排列顺序是任意的。
• 该方法表明，仅函数符号本身已包含足够信息，可实现高效的前提选择，即使缺乏显式的逻辑算子或量词。