[论文解读] Towards Smart Proof Search for Isabelle

Yutaka Nagashima|arXiv (Cornell University)|Jan 10, 2017

Mathematics, Computing, and Information Processing参考文献 1被引用 3

一句话总结

该论文提出了一种概率性声明式证明策略语言（PDPSL），通过结合元级别启发式方法、运行时后验评估以及大规模证明语料库上的强化学习，使Isabelle能够实现智能的、以最佳优先顺序进行的证明搜索。该方法旨在克服现有系统（如PSL和Sledgehammer）中暴力组合策略的局限性，将策略选择建模为一种由概率权重和学习到的进展度量引导的动态、有信息量的搜索过程。

ABSTRACT

Despite the recent progress in automatic theorem provers, proof engineers are still suffering from the lack of powerful proof automation. In this position paper we first report our proof strategy language based on a meta-tool approach. Then, we propose an AI-based approach to drastically improve proof automation for Isabelle, while identifying three major challenges we plan to address for this objective.

研究动机与目标

• 解决尽管在锤子风格工具方面取得进展，但在交互式定理证明中仍缺乏灵活且可扩展的证明自动化的问题。
• 通过引入一种声明式、元级别的策略描述语言，克服Isabelle策略语言的程序式僵化性。
• 通过结合先验概率策略选择与后验的策略结果评估，提高证明搜索效率。
• 利用大规模证明语料库（如AFP、seL4）进行强化学习，以优化手工编写的证明启发式规则。
• 通过聚焦于元信息而非具体证明目标，减少学习到的策略中的过拟合风险。

提出的方法

• 设计一种概率性声明式证明策略语言（PDPSL），用于描述关于证明目标和Isabelle库结构的元信息，而非具体策略。
• 在证明搜索图上实现最佳优先搜索，其中节点表示证明状态，边表示带有动态分配权重的策略应用。
• 使用运行时后验评估，根据目标简化或结构变化等进展度量，为策略应用分配权重。
• 将多种进展度量整合到搜索启发式中，以指导每一步选择最有希望的策略。
• 在大规模证明语料库（如AFP、seL4）上应用强化学习，自动优化PDPSL策略，而不会过度拟合特定的证明模式。
• 通过将PDPSL限制在元信息（如递归函数、定义机制）而非具体的目标项上，确保其鲁棒性。

实验结果

研究问题

• RQ1 如何设计一种声明式证明策略语言，以在不为每个目标硬编码特定策略的情况下引导证明搜索？
• RQ2 证明目标的哪些元级别特征可作为预测有希望的策略应用的可靠指标？
• RQ3 哪些策略应用的后验度量能有效指示证明搜索中的进展，并指导最佳优先策略？
• RQ4 如何在证明语料库上应用强化学习，以改进手工编写的证明启发式规则，同时避免过拟合？
• RQ5 将先验概率期望与后验评估相结合，是否能比当前的暴力组合方法带来更高效的证明搜索？

主要发现

• PDPSL通过基于元信息特征和后验评估的动态权重分配，实现了最佳优先证明搜索策略。
• 该方法将策略编写与底层策略实现解耦，使Sledgehammer等子工具可独立改进。
• 对策略结果的后验评估提供了一种运行时机制，可根据实际的证明进展动态优化搜索启发式。
• 如形式化证明档案馆（AFP）和seL4等大规模证明语料库，为训练强化学习模型以增强PDPSL策略提供了充足的数据。
• 将PDPSL限制在元信息而非具体项上，可降低学习到的策略的过拟合风险。
• 该方法将证明搜索从暴力策略组合转变为对证明空间的有指导、有信息量的探索。