[论文解读] Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems

Keyur Faldu, Amit Sheth+3 more|arXiv (Cornell University)|Oct 29, 2021

Software Engineering Research被引用 7

一句话总结

本文综述了求解数学应用题（MWPs）的神经网络与非神经网络方法，强调了可解释性、可说明性以及知识增强模型的必要性。文章识别出三种关键的神经策略——直接生成答案、生成表达式树以及检索模板，并主张通过整合外部知识与符号推理来克服模型在泛化能力和数学推理能力方面的局限。

ABSTRACT

Mathematical reasoning would be one of the next frontiers for artificial intelligence to make significant progress. The ongoing surge to solve math word problems (MWPs) and hence achieve better mathematical reasoning ability would continue to be a key line of research in the coming time. We inspect non-neural and neural methods to solve math word problems narrated in a natural language. We also highlight the ability of these methods to be generalizable, mathematically reasonable, interpretable, and explainable. Neural approaches dominate the current state of the art, and we survey them highlighting three strategies to MWP solving: (1) direct answer generation, (2) expression tree generation for inferring answers, and (3) template retrieval for answer computation. Moreover, we discuss technological approaches, review the evolution of intuitive design choices to solve MWPs, and examine them for mathematical reasoning ability. We finally identify several gaps that warrant the need for external knowledge and knowledge-infused learning, among several other opportunities in solving MWPs.

研究动机与目标

• 分析使用非神经网络与神经网络方法求解数学应用题（MWPs）的当前技术水平。
• 评估现有模型的数学推理能力，重点关注可解释性、可说明性以及泛化能力。
• 识别现有方法中的不足，特别是对表面统计模式的过度依赖以及与领域特定知识整合的缺乏。
• 探索通过知识增强学习、外部知识向量以及混合神经符号架构来提升MWP求解器的潜力。
• 倡导开发针对知识密集型数学推理任务的评估基准。

提出的方法

• 调查用于求解MWP的非神经方法，如基于规则的系统、语义解析和模板检索。
• 分析聚焦于三种核心策略的神经方法：直接答案生成、用于符号推理的表达式树生成，以及用于计算的模板检索。
• 提出使用表达式树以提升模型可解释性，并在MWP求解器中实现逐步推理。
• 在训练过程中整合外部知识向量，以增强数学应用题中的推理能力。
• 探索强化学习，通过策略学习优化计算图（如表达式树）的构建。
• 主张在模型中引入穿插的自然语言解释，以提升模型透明度和用户参与度。

实验结果

研究问题

• RQ1 当前的MWP求解器在多大程度上依赖于表面统计模式而非真正的数学推理？
• RQ2 如何使神经网络模型在数学推理背景下更具可解释性和可说明性？
• RQ3 外部知识与知识增强学习在提升MWP求解器的鲁棒性与泛化能力方面发挥什么作用？
• RQ4 强化学习能否有效应用于构建求解MWP的最优计算图？
• RQ5 混合神经符号系统如何更好地模拟人类在求解复杂MWP时的数学推理方式？

主要发现

• 现有神经网络模型在标准基准上表现优异，但往往依赖浅层启发式方法而非深层数学推理。
• 表达式树生成提升了可解释性，并支持逐步推理，为实现更透明、可说明的MWP求解器提供了路径。
• 非神经方法的性能并不随训练数据线性增长，而神经网络模型在大规模训练数据下展现出处理复杂MWP的潜力。
• 穿插的自然语言解释增强了模型透明度，有助于引导用户理解推理步骤，从而提升用户信任与参与度。
• 外部知识注入与知识向量集成对于解决需要领域特定公式与概念的知识密集型MWP至关重要。
• 强化学习在优化MWP中计算图构建方面展现出潜力，但目前仍处于应用的早期阶段。