[论文解读] NaturalProofs: Mathematical Theorem Proving in Natural Language

Sean Welleck, Jiacheng Liu+4 more|arXiv (Cornell University)|Mar 24, 2021

Topic Modeling参考文献 47被引用 12

一句话总结

本论文提出 NaturalProofs，一个涵盖多个数学领域的语料库，其中包含以自然数学语言书写的数学定理与证明——结合了符号记号与自然语言——数据来源包括 ProofWiki、The Stacks Project 和教科书。该研究在数学参考文献检索与生成任务上对神经序列模型进行基准测试，结果表明大规模模型在域内任务中优于传统方法，但在零样本泛化和完整参考文献恢复方面仍存在困难。

ABSTRACT

Understanding and creating mathematics using natural mathematical language - the mixture of symbolic and natural language used by humans - is a challenging and important problem for driving progress in machine learning. As a step in this direction, we develop NaturalProofs, a multi-domain corpus of mathematical statements and their proofs, written in natural mathematical language. NaturalProofs unifies broad coverage, deep coverage, and low-resource mathematical sources, allowing for evaluating both in-distribution and zero-shot generalization. Using NaturalProofs, we benchmark strong neural methods on mathematical reference retrieval and generation tasks which test a system's ability to determine key results that appear in a proof. Large-scale sequence models show promise compared to classical information retrieval methods, yet their performance and out-of-domain generalization leave substantial room for improvement. NaturalProofs opens many avenues for research on challenging mathematical tasks.

研究动机与目标

• 通过创建统一的数学命题与证明语料库，填补机器学习研究在非正式数学推理方面的空白，语料库内容以自然语言表达。
• 支持模型在分布内与零样本分布外泛化能力的评估，涵盖数学推理任务。
• 开发并基准测试神经方法在数学参考文献检索与生成方面的能力，模拟人类证明构建的核心特征。
• 通过弥合非正式数学论述与形式化验证及教育应用之间的鸿沟，推动自动化推理的发展。
• 提供公开可获取的数据集与代码库，促进基于自然语言的数学推理与定理证明研究。

提出的方法

• 通过整合来自 ProofWiki 的广覆盖数据、The Stacks Project 的深度覆盖数据以及低资源教科书数据，构建一个多领域语料库，并统一为一个共同的数据模式。
• 使用 LaTeX 环境分类体系映射至数据类型（如定理、定义、证明），对数学命题与证明进行表示，确保格式与元数据的一致性。
• 设计数学参考文献检索任务：给定一个定理，检索其证明中引用的参考文献集合（如定理、引理、定义）。
• 将检索任务扩展至参考文献生成任务，要求恢复证明中引用的参考文献身份及其顺序。
• 实现并评估两种神经模型：使用 BERT 编码器进行定理-参考文献匹配的成对评分模型，以及用于端到端参考文献生成的联合参数化模型。
• 采用对比学习目标并结合负样本参考文献采样以提升检索性能，并在推理阶段对完整参考文献集进行微调。

实验结果

研究问题

• RQ1 神经序列模型能否在自然语言数学证明中有效检索与给定定理相关的参考文献？
• RQ2 神经模型在来自分布外领域（如教科书或 The Stacks Project）的新定理上泛化能力如何？
• RQ3 神经模型在证明中恢复参考文献正确数量与顺序的能力如何，是否超越了简单的检索任务？
• RQ4 在非正式数学推理背景下，大规模神经模型与经典信息检索方法相比表现如何？
• RQ5 当前神经模型在捕捉数学证明中符号与逻辑结构方面的关键局限是什么？

主要发现

• 大规模神经序列模型在域内数学参考文献检索任务中优于经典信息检索方法。
• 神经模型在生成参考文献序列方面展现出潜力，但难以完全恢复证明中参考文献的正确数量与顺序。
• 分布外泛化仍是重大挑战，表明当前模型在数学推理中对领域分布变化的鲁棒性有限。
• 联合参数化方法通过优化排序列表的顶部提升了检索性能，表明端到端训练具有优势。
• 尽管在域内表现优异，神经模型在有效利用符号数学内容进行推理方面仍显不足。
• NaturalProofs 语料库支持在多样化数学领域中对检索与生成任务进行评估，为未来非正式定理证明研究提供了基础。