[论文解读] NaturalProver: Grounded Mathematical Proof Generation with Language Models

Sean Welleck, Jiacheng Liu+3 more|arXiv (Cornell University)|May 25, 2022

Mathematics, Computing, and Information Processing被引用 7

一句话总结

NaturalProver 引入了一种大型语言模型，通过基于检索或提供的背景参考文献（例如定理、定义）进行条件生成，在推理过程中使用约束解码以确保参考文献的使用，从而生成基于事实的自然语言数学证明。该模型在后续步骤建议中的正确性和实用性评估中，超过40%的时间达到人类评价水平，并能为简短（2–6步）定理生成有效证明——这是在该设置下首次实现神经语言模型的此类成功。

ABSTRACT

Theorem proving in natural mathematical language - the mixture of symbolic and natural language used by humans - plays a central role in mathematical advances and education, and tests aspects of reasoning that are core to intelligence. Yet it has remained underexplored with modern generative models. We study large-scale language models on two new generation tasks: suggesting the next step in a mathematical proof, and full proof generation. We develop NaturalProver, a language model that generates proofs by conditioning on background references (e.g. theorems and definitions that are either retrieved or human-provided), and optionally enforces their presence with constrained decoding. On theorems from the NaturalProofs benchmark, NaturalProver improves the quality of next-step suggestions and generated proofs over fine-tuned GPT-3, according to human evaluations from university-level mathematics students. NaturalProver is capable of proving some theorems that require short (2-6 step) proofs, and providing next-step suggestions that are rated as correct and useful over 40% of the time, which is to our knowledge the first demonstration of these capabilities using neural language models.

研究动机与目标

• 使大型语言模型能够生成基于自然语言的数学有效证明，融合符号推理与文本推理。
• 通过基于外部参考文献（如定理和定义）进行条件生成，解决证明生成中缺乏事实依据的问题。
• 评估神经语言模型作为数学推理与教育中交互式辅助工具的可行性。
• 研究当前模型在多步证明中保持逻辑连贯性、论证质量与符号推导能力方面的局限性。

提出的方法

• NaturalProver 在背景参考文献的基础上进行证明生成，这些参考文献可从知识库中检索，也可由用户提供。
• 在训练过程中使用参考文献重构技术，将参考文献标题映射到其完整内容，以实现有效事实对齐。
• 在推理阶段，应用上下文中的参考文献约束来引导生成过程，确保相关定理与定义被纳入。
• 采用分步约束解码，强制在证明步骤中使用指定参考文献，从而提升连贯性与正确性。
• 模型在 NaturalProofs-Gen 数据集上进行微调，该数据集包含来自 ProofWiki 的 12.5k 个定理-证明对，具有结构化、多步的证明过程。
• 通过大学水平数学专业学生进行人工评估，以衡量生成证明的正确性、实用性及错误类型。

实验结果

研究问题

• RQ1 大型语言模型能否以高正确率和实用性生成自然语言证明中的后续有效步骤？
• RQ2 当基于外部参考文献进行事实对齐时，神经模型能否为简短定理（2–6步）生成完整且正确的证明？
• RQ3 与标准自回归生成相比，强制使用参考文献的约束解码在多大程度上提升了证明质量？
• RQ4 当前语言模型在数学证明生成中的主要失败模式是什么，特别是在推理与符号推导方面？
• RQ5 结合检索增强生成与参考文献对齐，能在多大程度上提升证明的可靠性与连贯性？

主要发现

• 在人工评估中，NaturalProver 的后续步骤建议正确率和实用性评分分别达到 42.86% 和 51.43%，这是首次在神经语言模型中实现此类性能的展示。
• 基础模型在完整证明中的正确率和实用性评分分别为 26.30% 和 24.30%，在使用约束解码（NP++）后分别提升至 35.41% 和 46.57%。
• 参考文献相关错误（如虚构或无效参考文献）从 GPT-3 的 4.61% 降低至 NaturalProver 的 1.05%，表明事实对齐能力显著提升。
• 符号推导错误显著减少：无效推导从 GPT-3 的 24.56% 降至 NaturalProver 的 15.64%，方程错误从 32.54% 降至 26.32%。
• 模型在推理连贯性方面表现更优：NaturalProver 的参考文献错误率为 19.70%，而 GPT-3 为 30.92%；GPT-3 的无效论证比例为 15.21%，NaturalProver 降低至 9.62%。
• 尽管有所改进，模型在长证明、多步推导与论证质量方面仍存在逻辑连贯性挑战，凸显神经推理在该领域仍面临持久难题。