[论文解读] Natural Language Premise Selection: Finding Supporting Statements for Mathematical Text

Deborah Ferreira, André Freitas|arXiv (Cornell University)|Apr 30, 2020

Mathematics, Computing, and Information Processing被引用 8

一句话总结

本文提出了自然语言前提选择（NL-PS）任务，旨在从自然语言数学文本的非正式证明中检索支持性的数学定义和命题。基于从 ProofWiki 收集的新数据集 NL-PS，作者评估了 TF-IDF、PV-DBOW 以及 BERT/SciBERT 等基线模型，结果表明对数学表达式的语义建模——尤其是通过分词符号——能显著提升性能，其中 SciBERT 达到最高的 MAP 分数 0.383。

ABSTRACT

Mathematical text is written using a combination of words and mathematical expressions. This combination, along with a specific way of structuring sentences makes it challenging for state-of-art NLP tools to understand and reason on top of mathematical discourse. In this work, we propose a new NLP task, the natural premise selection, which is used to retrieve supporting definitions and supporting propositions that are useful for generating an informal mathematical proof for a particular statement. We also make available a dataset, NL-PS, which can be used to evaluate different approaches for the natural premise selection task. Using different baselines, we demonstrate the underlying interpretation challenges associated with the task.

研究动机与目标

• 为解决 NLP 模型在理解与推理非正式数学论述方面所面临的挑战，此类论述结合了自然语言与符号表达式。
• 提出一项新的 NLP 任务——自然语言前提选择，专注于为给定的数学陈述检索相关支持性定义与命题。
• 构建并发布基于 ProofWiki 的新数据集 NL-PS，以支持数学前提选择任务的模型评估与基准测试。
• 评估不同嵌入与检索方法在该任务上的有效性，突出通用模型（如 BERT）在捕捉数学语义方面的局限性。
• 证明通过数学表达式的分词处理与专用嵌入表示，可显著提升性能，优于词法或字符级方法。

提出的方法

• 将 NL-PS 任务定义为检索问题：给定一个以自然语言表述的目标数学陈述，从语料库中检索相关的支持性前提（定义与命题）。
• NL-PS 数据集源自 ProofWiki，包含 3,084 个唯一的数学陈述及其相关支持性前提。
• 评估多种基线方法：基于词袋模型的 TF-IDF，基于词与字符级分词的 PV-DBOW，以及微调后的 BERT 与 SciBERT 模型。
• 数学表达式通过保留语法与语义结构的分词策略进行处理，包括将表达式分解为子组件。
• 使用平均平均精度（MAP）进行任务评估，结果按不同表达式编码策略与数据集子集报告。
• 通过评估 1-、2- 和 3 跳前提链的检索性能，建模前提的传递性，以评估可扩展性与推理深度。

实验结果

研究问题

• RQ1 通用 NLP 模型（如 BERT 与 SciBERT）能否有效从非正式自然语言数学文本中检索相关数学前提？
• RQ2 数学表达式的表示方式——词级、字符级或分词子组件——如何影响前提选择的性能？
• RQ3 数学推理的传递性特征（即前提依赖于其他前提）是否显著增加检索任务的难度？
• RQ4 在数学前提选择的背景下，词法重叠或简单嵌入方法（如 TF-IDF）在多大程度上优于更复杂的神经表示方法？
• RQ5 能够捕捉数学语义的专用嵌入是否能超越通用模型，显著提升检索准确性？

主要发现

• SciBERT 达到最高的 MAP 分数 0.383，优于 BERT（0.377），表明在科学文本上预训练可提升数学前提选择的性能。
• 分词表达表示的性能更优（MAP = 0.072），优于词级（0.046）与字符级（0.061）编码，表明子表达式语义至关重要。
• 随着前提跳数增加，性能显著下降：1 跳（MAP = 0.089）、2 跳（0.052）、3 跳（0.038），表明传递性推理难度逐步增加。
• TF-IDF 搭配分词表达实现 MAP 0.072，优于词级（0.048）与字符级（0.051）基线，表明表达式结构具有关键影响。
• 性能最佳的 PV-DBOW 模型（100 维嵌入）达到 MAP 0.072，表明表达式的分布式表示优于稀疏方法。
• 结果表明该任务具有非平凡的语义复杂性，无法通过词法重叠或简单检索解决，需对数学表达式进行更深层次的语义建模。