[论文解读] Why are NLP Models Fumbling at Elementary Math? A Survey of Deep Learning based Word Problem Solvers

Sowmya S. Sundaram, Sairam Gurajada+3 more|arXiv (Cornell University)|May 31, 2022

Natural Language Processing Techniques被引用 7

一句话总结

本综述批判性地分析了基于深度学习的数学应用题（MWP）求解器，指出模型脆弱性的根源在于数据集设计缺陷和次优的建模选择。文章提出了未来研究的路线图，强调语义解析、有意识的数据集设计以及知识感知建模，以提升模型的鲁棒性和泛化能力，超越当前最先进（SOTA）性能。

ABSTRACT

From the latter half of the last decade, there has been a growing interest in developing algorithms for automatically solving mathematical word problems (MWP). It is a challenging and unique task that demands blending surface level text pattern recognition with mathematical reasoning. In spite of extensive research, we are still miles away from building robust representations of elementary math word problems and effective solutions for the general task. In this paper, we critically examine the various models that have been developed for solving word problems, their pros and cons and the challenges ahead. In the last two years, a lot of deep learning models have recorded competing results on benchmark datasets, making a critical and conceptual analysis of literature highly useful at this juncture. We take a step back and analyse why, in spite of this abundance in scholarly interest, the predominantly used experiment and dataset designs continue to be a stumbling block. From the vantage point of having analyzed the literature closely, we also endeavour to provide a road-map for future math word problem research.

研究动机与目标

• 批判性评估基于深度学习的数学应用题（MWP）求解器的当前状态，重点关注其在强大实证性能下仍存在的局限性。
• 识别MWP求解中模型脆弱性的根本原因，特别是将失败归因于数据集设计和建模架构选择。
• 对2020至2023年间MWP研究中的现有模型、数据集和评估实践进行全面且批判性的分析。
• 提出一个面向未来的研究路线图，强调语义解析、知识整合和严谨的数据集设计，以实现更鲁棒和泛化的MWP求解器。
• 通过倡导捕捉语言和数学语义的模型，超越简单的序列到序列映射，弥合自然语言处理（NLP）与数学推理之间的鸿沟。

提出的方法

• 系统性调研了30余篇近期论文（2020–2023年）中来自顶级NLP会议的基于深度学习的MWP求解器研究。
• 将模型分类为编码器-解码器框架、基于图的模型、基于Transformer的模型、对比学习模型以及教师-学生蒸馏模型。
• 分析了基准数据集（如Alg514、AQuA等），指出其存在的问题，如模板重叠、重复和语义多样性不足。
• 通过报告的准确率和F1分数，在多个数据集上评估模型性能，识别出尽管方法论存在差异，但性能趋于收敛。
• 提出从翻译式序列到序列（seq2seq）建模向语义解析转变，引入图结构和程序化抽象等结构化表示。
• 倡导通过图结构和预训练嵌入整合领域特定数学知识，实现知识感知建模。

实验结果

研究问题

• RQ1 为何当前最先进（SOTA）的基于深度学习的MWP模型在标准基准数据集上表现优异，却仍会在基础数学问题上失败？
• RQ2 当前数据集设计（如基于模板的生成和重复）在多大程度上损害了模型的泛化能力和鲁棒性？
• RQ3 如何更好地利用语义解析来建模MWP求解中的推理过程，而非将其视为直接的文本到方程翻译？
• RQ4 有意识的数据集设计（包括对抗性样本和语言学/数学增强）在提升模型鲁棒性方面发挥什么作用？
• RQ5 如何有效将领域知识和数学结构整合到神经网络模型中，以实现超越表面模式匹配的推理能力？

主要发现

• 尽管在标准基准上表现优异，SOTA MWP模型仍表现出脆弱性，这是由于对数据集人工制品的过拟合以及对未见问题结构的泛化能力有限。
• 大多数模型依赖于序列到序列或seq2seq类架构，无法捕捉数学应用题所要求的底层语义和结构化推理。
• 基于图的模型和基于Transformer的模型通过同时编码语言和数学结构实现了性能提升，尤其在引入注意力机制时更为显著。
• 数据集质量仍是主要瓶颈：许多数据集包含重复问题、模板重叠和语义变化有限，这损害了模型评估和泛化能力。
• 通过图结构（如通过GNN）整合数学模式或符号推理的知识感知模型，相比纯神经序列模型，展现出更强的鲁棒性和推理保真度。
• 少样本学习和对比学习方法在减少数据依赖和提升零样本泛化能力方面展现出潜力，尤其在结合语义增强时更为显著。