[论文解读] The Gap of Semantic Parsing: A Survey on Automatic Math Word Problem Solvers

Dongxiang Zhang, Lei Wang+3 more|arXiv (Cornell University)|Aug 22, 2018

Topic Modeling参考文献 123被引用 12

一句话总结

本综述对自动数学应用题（MWP）求解器进行了全面分析，重点探讨了语义解析技术，以弥合自然语言与逻辑推理之间的鸿沟。该综述评估了在算术、方程组和几何问题上的方法，指出了当前方法在大规模数据集上的局限性，并强调了未来研究的新兴趋势，如深度学习和可解释性。

ABSTRACT

Solving mathematical word problems (MWPs) automatically is challenging, primarily due to the semantic gap between human-readable words and machine-understandable logics. Despite the long history dated back to the1960s, MWPs have regained intensive attention in the past few years with the advancement of Artificial Intelligence (AI). Solving MWPs successfully is considered as a milestone towards general AI. Many systems have claimed promising results in self-crafted and small-scale datasets. However, when applied on large and diverse datasets, none of the proposed methods in the literature achieves high precision, revealing that current MWP solvers still have much room for improvement. This motivated us to present a comprehensive survey to deliver a clear and complete picture of automatic math problem solvers. In this survey, we emphasize on algebraic word problems, summarize their extracted features and proposed techniques to bridge the semantic gap and compare their performance in the publicly accessible datasets. We also cover automatic solvers for other types of math problems such as geometric problems that require the understanding of diagrams. Finally, we identify several emerging research directions for the readers with interests in MWPs.

研究动机与目标

• 提供自动数学应用题求解领域最新进展的全面且最新的概述，尤其聚焦于语义解析技术。
• 区分并系统性地对算术应用题（AWP）、方程组问题（ESP）和几何应用题进行分类，这些类型在以往研究中常被混为一谈。
• 评估现有方法在公开可用的大规模数据集上的性能，揭示了在小型数据集上报告的结果与真实世界泛化能力之间存在显著差距。
• 识别关键挑战，如特征工程的复杂性、深度学习模型缺乏可解释性，以及当前MWP求解器在多语言支持方面的局限性。
• 概述未来研究方向，包括端到端深度学习模型、几何问题中的视觉-文本对齐，以及多语言MWP求解。

提出的方法

• 将MWP求解器分为三个技术阶段：基于规则的系统（1960年代–2010年）、基于语义解析的方法（2010年代）和以深度学习为驱动的模型（2015年后）。
• 分析语义解析中使用的特征工程策略，包括句法、语义和逻辑特征，以弥合文本与形式逻辑之间的语义鸿沟。
• 回顾基于深度学习的模型，如Deep Neural Solver、Seq2SeqET、StackDecoder、MathDQN、CASS和T-RNN，这些模型使用Bi-LSTM、注意力机制和递归网络等神经架构实现端到端推理。
• 研究几何应用题中的视觉推理技术，重点关注文本提及与图示元素之间的对齐，但受限于小规模评估。
• 比较Dolphin18K和Math23K等公开基准上的性能表现，突出显示从小型、精心筛选的数据集转向多样化、大规模数据集时准确率的显著下降。
• 提出基于问题类型和解决方案范式的MWP求解器理性分类方法，以实现更清晰的比较并识别方法论上的空白。

实验结果

研究问题

• RQ1 为何许多在小型自建数据集上表现良好的MWP求解器在大规模、多样化数据集上无法泛化？
• RQ2 当前的语义解析技术在多大程度上有效弥合了数学应用题中自然语言与形式化逻辑表示之间的语义鸿沟？
• RQ3 基于深度学习的端到端模型在准确性、鲁棒性和可解释性方面与传统特征工程方法相比如何？
• RQ4 在涉及图示理解的几何应用题求解中，存在哪些关键挑战，当前文献在多大程度上解决了这些问题？
• RQ5 未来研究方向中，如多语言MWP求解或可解释人工智能，哪些最有可能推动该领域向通用人工智能发展？

主要发现

• 尽管当前MWP求解器在小型、精心筛选的数据集上表现良好，但在Dolphin18K和Math23K等大规模基准上准确率显著下降，表明泛化能力存在关键差距。
• 特征工程仍是语义解析中的主导策略，但方法间在特征多样性与缺乏标准化，阻碍了公平比较与可复现性。
• 基于深度学习的模型如T-RNN和CASS在减少对手动特征工程的依赖和提升端到端推理能力方面展现出潜力，但可解释性仍是挑战。
• 几何应用题中的视觉-文本对齐是新兴但评估不足的领域，大多数方法仅在小型自建数据集上测试，缺乏鲁棒性。
• 尽管非英语语言中存在大量现有数据集，特别是中文教育系统中，但多语言MWP求解器仍明显缺乏，这构成了高影响力的应用机会。
• 将领域知识与符号推理整合到深度学习模型中，被识别为提升真实教学应用中可解释性与性能的关键方向。