[论文解读] TacticZero: Learning to Prove Theorems from Scratch with Deep Reinforcement Learning

Minchao Wu, Michael Norrish+2 more|arXiv (Cornell University)|Feb 19, 2021

Logic, programming, and type systems参考文献 41被引用 6

一句话总结

TacticZero 提出了一种深度强化学习框架，通过将交互式定理证明（ITP）建模为马尔可夫决策过程（MDP），从零开始学习定理证明。该框架实现了策略选择、参数预测和带回溯的动态证明搜索的端到端学习。它在未见过的问题上优于现有的锤子（hammers）和最先进基线模型，通过自主探索证明路径并舍弃无效路径实现。

ABSTRACT

We propose a novel approach to interactive theorem-proving (ITP) using deep reinforcement learning. The proposed framework is able to learn proof search strategies as well as tactic and arguments prediction in an end-to-end manner. We formulate the process of ITP as a Markov decision process (MDP) in which each state represents a set of potential derivation paths. This structure allows us to introduce a novel backtracking mechanism which enables the agent to efficiently discard (predicted) dead-end derivations and restart from promising alternatives. We implement the framework in the HOL4 theorem prover. Experimental results show that the framework outperforms existing automated theorem provers (i.e., hammers) available in HOL4 when evaluated on unseen problems. We further elaborate the role of key components of the framework using ablation studies.

研究动机与目标

• 解决现有基于学习的 ITP 方法依赖有限人工提供证明和固定搜索策略（如 BFS 或 DFS）的局限性。
• 使智能体能够从零开始以端到端方式学习证明搜索策略、策略选择和参数预测。
• 在 MDP 框架内引入一种新颖的回溯机制，实现对无产出推导路径的高效剪枝，并从有希望的替代路径重新开始。
• 在未见过的定理上超越现有自动化定理证明器（锤子）在 HOL4 中的表现，且不依赖人工标注的证明库。
• 通过消融研究验证关键组件（如 MDP 建模、策略梯度训练和回溯）的贡献。

提出的方法

• 将交互式定理证明建模为马尔可夫决策过程（MDP），其中每个状态代表一组潜在的推导路径，实现在证明搜索过程中对多路径的追踪。
• 设计一种分层动作空间，支持以定理名称和项作为参数的应用策略，实现丰富且灵活的证明动作。
• 使用多个循环神经网络和前馈神经网络实现深度强化学习智能体，联合预测回溯、目标、策略和参数层级的动作。
• 采用策略梯度方法（如 REINFORCE）进行端到端训练，优化证明完成度，同时学习从无产出路径中回溯。
• 集成一种新颖的回溯机制，使智能体能够舍弃死胡同推导路径，并从先前访问过的有希望的证明状态重新开始。
• 在 HOL4 定理证明器中训练和评估智能体，利用自生成的证明尝试和基于证明成功与否的奖励信号。

实验结果

研究问题

• RQ1 强化学习智能体是否能够在不依赖人工标注证明示例的情况下，学习有效的交互式定理证明搜索策略？
• RQ2 集成于 MDP 框架中的回溯机制在剪枝无产出证明路径方面的有效性如何？
• RQ3 与固定搜索策略相比，端到端学习策略和参数预测在未见过定理上的性能提升程度如何？
• RQ4 关键架构组件（如 MDP 建模、策略梯度训练和回溯）对整体证明性能的贡献是什么？
• RQ5 智能体是否能够泛化到训练分布之外的新定理，并在 HOL4 中超越现有自动化证明器（锤子）的表现？

主要发现

• TacticZero 在未见过的定理上优于 HOL4 中最先进的锤子（E、Z3、Vampire），展现出更优的泛化能力和证明发现能力。
• 智能体成功发现了比人工验证证明更短的证明，包括一个此前需大量冗余步骤证明的复杂引理的最小化证明。
• 消融研究证实，回溯机制以及策略与参数预测的联合学习对性能至关重要，任一组件的移除均导致成功率显著下降。
• MDP 建模使智能体能够同时探索多条证明路径，并动态调整关注点，避免了 BFS 和 DFS 的低效性。
• 该框架通过从自生成的证明尝试中学习，实现了高样本效率，减少了对外部证明库的依赖。
• 智能体在无需预设前提选择评分函数的情况下，学会了选择策略及其参数（包括复杂的 HOL4 项）。