[论文解读] Tree-Based Representation and Generation of Natural and Mathematical Language

Alexander Scarlatos, Andrew Lan|arXiv (Cornell University)|Feb 15, 2023

Mathematics, Computing, and Information Processing被引用 4

一句话总结

本文提出 MathGPT，一种经过修改的 GPT-2 模型，通过将数学表达式编码为带语义和位置嵌入的运算符树，并采用约束解码以确保语法正确性，从而联合表示和生成自然语言与数学语言。该模型在生成语法正确的数学表达式方面优于基线模型，同时保持了结构和语义特性。

ABSTRACT

Mathematical language in scientific communications and educational scenarios is important yet relatively understudied compared to natural languages. Recent works on mathematical language focus either on representing stand-alone mathematical expressions, especially in their natural tree format, or mathematical reasoning in pre-trained natural language models. Existing works on jointly modeling and generating natural and mathematical languages simply treat mathematical expressions as text, without accounting for the rigid structural properties of mathematical expressions. In this paper, we propose a series of modifications to existing language models to jointly represent and generate text and math: representing mathematical expressions as sequences of node tokens in their operator tree format, using math symbol and tree position embeddings to preserve the semantic and structural properties of mathematical expressions, and using a constrained decoding method to generate mathematically valid expressions. We ground our modifications in GPT-2, resulting in a model MathGPT, and demonstrate that it outperforms baselines on mathematical expression generation tasks.

研究动机与目标

• 为解决自然语言与数学语言联合建模中的空白，通过考虑数学表达式的严格结构特性。
• 通过使用位置感知嵌入表示公式为运算符树，改进数学表达式的生成。
• 开发一种约束解码策略，以确保生成的数学表达式在句法上的正确性。
• 在正式数学文本上进行预训练，构建统一模型，以在下游数学生成任务中实现更优性能。
• 通过定量和定性分析，评估模型捕捉数学表达式语义和结构特性的能力。

提出的方法

• 数学表达式被表示为运算符树（OPTs），其中非叶节点为运算符，叶节点为变量或数字。
• 通过应用于文本标记嵌入的可学习变换，学习数学表达式的标记嵌入，以保留语义和结构信息。
• 引入树位置嵌入以编码每个节点在运算符树中的层次位置，增强对结构的感知能力。
• 采用可并行化的约束解码过程，在生成过程中强制执行语法规则，确保仅生成数学上有效的表达式。
• 在数学维基百科文章上进行预训练，将 GPT-2 适配为在统一自回归框架中联合建模文本与数学。
• 最终得到的模型 MathGPT 在下游数学表达式生成任务上进行微调和评估。

实验结果

研究问题

• RQ1 通过利用数学表达式的层次结构，统一语言模型能否有效表示和生成自然语言与数学语言？
• RQ2 位置感知嵌入和语义嵌入在多大程度上提升了模型生成结构上有效的数学表达式的能力？
• RQ3 与标准自回归解码相比，约束解码在多大程度上提升了生成数学表达式的句法正确性？
• RQ4 与基于序列的表示相比，采用运算符树表示是否能带来可测量的数学表达式生成性能提升？
• RQ5 在预训练设置下，该模型在多样化数学主题和复杂度水平上的泛化能力如何？

主要发现

• MathGPT 在数学表达式生成任务上优于标准 GPT-2 和其他基线模型，尤其在生成句法正确的表达式方面表现更优。
• 通过分析其学习到的嵌入，模型在捕捉数学表达式的语义和结构特性方面表现出改进。
• 约束解码显著提高了生成的数学有效表达式的比例，减少了句法错误。
• 与未使用此类位置编码的模型相比，使用树位置嵌入能更好地建模数学表达式中的层次关系。
• 在正式数学内容上进行预训练使 MathGPT 能够生成高质量的表达式，但在学生生成或非正式数学语言上的性能可能下降。
• 模型性能受限于 LaTeX 到 OPT 转换不完善以及对外部树解析工具的依赖，这些因素引入噪声并降低鲁棒性。