[论文解读] Proving Theorems using Incremental Learning and Hindsight Experience Replay

Eser Aygün, Laurent Orseau+6 more|arXiv (Cornell University)|Dec 20, 2021

Logic, programming, and type systems被引用 7

一句话总结

本文提出一种基于机器学习的方法，通过增量学习和事后经验回放（HER）从零开始训练领域特定的一阶定理证明器，使系统能够从失败的证明尝试中回溯生成训练样本。该方法在TPTP数据集上的表现与当前最先进证明器E相当或更优，且在98%的情况下生成了更短的证明。

ABSTRACT

Traditional automated theorem provers for first-order logic depend on speed-optimized search and many handcrafted heuristics that are designed to work best over a wide range of domains. Machine learning approaches in literature either depend on these traditional provers to bootstrap themselves or fall short on reaching comparable performance. In this paper, we propose a general incremental learning algorithm for training domain specific provers for first-order logic without equality, based only on a basic given-clause algorithm, but using a learned clause-scoring function. Clauses are represented as graphs and presented to transformer networks with spectral features. To address the sparsity and the initial lack of training data as well as the lack of a natural curriculum, we adapt hindsight experience replay to theorem proving, so as to be able to learn even when no proof can be found. We show that provers trained this way can match and sometimes surpass state-of-the-art traditional provers on the TPTP dataset in terms of both quantity and quality of the proofs.

研究动机与目标

• 开发一种机器学习框架，从零开始训练定理证明器，不依赖于预先存在的证明或高性能ATP系统。
• 通过利用事后经验回放从失败的证明尝试中生成辅助训练样本，解决自动定理证明中稀疏且非结构化训练数据的挑战。
• 通过增量学习使系统迭代发现更短的证明，从而提升证明质量。
• 证明基于谱图特征和Transformer的可学习归因评分函数在标准基准测试中可与基于启发式的证明器（如E）相媲美或超越。

提出的方法

• 系统以基本的给定-子句算法作为核心证明引擎，归因评分由可学习的Transformer模型引导。
• 将归因表示为带有谱特征的图，以编码结构信息供神经网络使用。
• 对事后经验回放（HER）进行适配，将失败证明尝试中达到的归因转换为新的、可解的待证目标，从而生成合成训练样本。
• 采用类似课程的增量训练过程，系统随时间证明更多待证目标，从而改进其评分函数。
• 在证明搜索过程中使用基于DISCOUNT的探索策略，以平衡探索与利用。
• 训练过程为自监督：即使未成功证明原始待证目标，系统也能从中间状态生成新的、可证明的目标，从而实现持续学习。

实验结果

研究问题

• RQ1 能否仅使用基本证明引擎且不依赖预先存在的证明，仅依靠自生成的训练数据，从零开始训练定理证明器？
• RQ2 事后经验回放在提升自动定理证明中的学习效率和证明发现能力方面有多有效？
• RQ3 基于图卷积Transformer的可学习归因评分函数是否能在如E这样的最先进ATP系统中超越手工设计的启发式方法？
• RQ4 与传统证明器相比，使用HER的增量学习在多大程度上能生成更短、更高质量的证明？
• RQ5 所提出的方法在TPTP数据集中多样化的领域之间是否具有泛化能力，而无需引入领域特定的启发式方法？

主要发现

• 采用事后经验回放的增量学习系统（IL w/HER）在TPTP数据集的20个领域中有16个领域达到或优于E证明器的性能。
• 在941个两个系统均成功的待证目标中，IL w/HER在921个（97.9%）中发现了更短的证明，仅在9个情况下E的证明更短。
• 系统生成的证明在首次发现后平均缩短13%，表明通过重新访问和优化实现了持续改进。
• 若无HER，系统在困难领域因缺乏训练数据而陷入停滞，凸显HER在从失败尝试中实现学习的关键作用。
• 系统在七天的训练中生成了1,042个证明，尽管使用的是远为简单的证明引擎且无预先存在的启发式方法，其性能已接近E。
• 在总证明数量上，该模型的证明吞吐量与E相当，尽管E生成归因的速度快25.6倍，凸显了更强评分函数在缩小速度差距方面的重要性。