[论文解读] Solving General Arithmetic Word Problems

Subhro Roy, Dan Roth|arXiv (Cornell University)|Aug 4, 2016

Natural Language Processing Techniques参考文献 14被引用 5

一句话总结

本文提出了一种新颖的、无需模板的方法，通过表达式树和数量模式来解决通用算术应用题。通过将复杂问题分解为分层分类任务，并结合世界知识实施约束推理，该方法在基准数据集上实现了最先进性能，且无需标注模板或针对动词类别提供额外训练数据。

ABSTRACT

This paper presents a novel approach to automatically solving arithmetic word problems. This is the first algorithmic approach that can handle arithmetic problems with multiple steps and operations, without depending on additional annotations or predefined templates. We develop a theory for expression trees that can be used to represent and evaluate the target arithmetic expressions; we use it to uniquely decompose the target arithmetic problem to multiple classification problems; we then compose an expression tree, combining these with world knowledge through a constrained inference framework. Our classifiers gain from the use of {\em quantity schemas} that supports better extraction of features. Experimental results show that our method outperforms existing systems, achieving state of the art performance on benchmark datasets of arithmetic word problems.

研究动机与目标

• 开发一种算法方法，无需依赖预定义模板或额外标注，即可解决通用算术应用题。
• 使系统能够泛化至各类问题，包括涉及四则运算的多步问题。
• 通过引入捕捉相关语义和数值信息的“数量模式”概念，改进特征提取与推理能力。
• 将表达式树构建问题形式化为联合推理问题，其中约束条件源自世界知识（例如答案的正性、整数性）。
• 在基准数据集上超越现有系统，尤其在零样本泛化至未见问题类型方面表现优异。

提出的方法

• 该方法使用单调表达式树表示算术表达式，从而将解唯一分解为数量之间的成对运算。
• 将问题形式化为一系列二分类任务，以预测表达式树中成对数量的最低共同祖先（LCA）运算。
• 使用数量模式提取并表示每个数量的语义和数值特征，提升特征的相关性与泛化能力。
• 采用约束推理框架，通过目标函数组合分类器输出，以强制执行合法性与背景知识约束（例如，'有多少'类问题的答案必须为正）。
• 利用问题结构中的冗余性，提升表达式树构建过程中的鲁棒性与准确性。
• 显式编码世界知识约束（如要求答案为整数或正数），以纠正错误预测并提升性能。

实验结果

研究问题

• RQ1 系统能否在不依赖预定义方程模板的情况下，解决涉及多种运算的通用算术应用题？
• RQ2 如何利用表达式树将复杂算术应用题唯一分解为更简单、可学习的分类任务？
• RQ3 数量模式在算术应用题求解中在多大程度上改善了特征提取与泛化能力？
• RQ4 结合世界知识的约束推理在提升预测准确性方面有多有效，尤其是在多步问题中？
• RQ5 系统能否泛化至未见的问题类型，例如具有新颖运算组合的多步问题？

主要发现

• 所提方法在两个基准数据集（IL 和 CC）上实现了最先进性能，在 IL 数据集上相比先前系统绝对提升超过 20%。
• 在 CC 数据集上，整数性与正性等约束使性能相比无约束版本提升超过 15%。
• 系统在多步问题上表现出有效的泛化能力，即使在训练中未见过特定问题类型亦然。
• Kushmann 等人（2014）的模板化系统在 CC 数据集上表现欠佳，原因在于遇到未见问题类型，而所提方法仍保持竞争力。
• 数量模式提取错误是失败的主要原因——在 IL 数据集的相关性分类器中，此类错误占到高达 57% 的错误率，凸显了未来工作的关键挑战。
• 该方法对罕见或未知动词具有鲁棒性，但此类情况仍对错误率有贡献，尤其在 LCA 运算分类器中更为明显。