[论文解读] Solving Arithmetic Word Problems with Transformers and Preprocessing of Problem Text

Kaden Griffith, Jugal Kalita|arXiv (Cornell University)|Jun 2, 2021

Natural Language Processing Techniques参考文献 21被引用 4

一句话总结

本文提出了一种基于Transformer的序列到序列模型，通过前缀、后缀或中缀记法将算术应用题翻译为算术表达式。通过使用数字标记和语言过滤（如LST、停用词去除）进行预处理，该模型在某些数据集上的准确率相比之前的方法提高了30%以上，其中后缀表示法表现最佳。

ABSTRACT

This paper outlines the use of Transformer networks trained to translate math word problems to equivalent arithmetic expressions in infix, prefix, and postfix notations. We compare results produced by many neural configurations and find that most configurations outperform previously reported approaches on three of four datasets with significant increases in accuracy of over 20 percentage points. The best neural approaches boost accuracy by 30% when compared to the previous state-of-the-art on some datasets.

研究动机与目标

• 提高基于神经序列到序列模型的自动算术应用题求解准确率。
• 探究如数字标记和语言过滤等预处理技术是否能增强模型泛化能力并减少生成输入中不存在的虚假数字。
• 评估不同算术表达式格式（中缀、前缀、后缀）在神经机器翻译中求解数学应用题的有效性。
• 证明标准Transformer架构无需外部模块即可在此任务上超越专用模型。
• 发布代码以支持可复现性及未来在自动化数学问题求解领域的研究。

提出的方法

• 该模型采用Transformer编码器-解码器架构，将应用题文本翻译为中缀、前缀或后缀记法的算术表达式。
• 在预处理阶段，将应用题中的数字替换为通用占位符（如⟨i⟩, ⟨q⟩, ⟨x⟩），以防止模型生成输入中不存在的虚假数字。
• 语言预处理包括使用基于词干的停用词标记（LST），可过滤无关词汇，提升模型对关键数学提示的关注度。
• 模型在四个基准数据集上端到端训练，使用交叉熵损失和束搜索解码。
• 后缀和前缀记法优于中缀，因其结构无歧义，避免了括号匹配问题。
• 预处理包括停用词过滤和词性标注，但某些组合（如词干化 + 停用词去除）会降低性能。

实验结果

研究问题

• RQ1 使用数字标记和语言过滤进行预处理是否能提高基于Transformer的算术应用题求解器的准确率？
• RQ2 在神经序列到序列模型中，前缀、后缀或中缀记法中哪一种能实现最高的翻译准确率？
• RQ3 标准Transformer架构能否超越专为数学应用题求解设计的专用神经架构？
• RQ4 不同预处理策略（如LST、停用词去除、词干化）如何影响模型性能与泛化能力？
• RQ5 模型在多大程度上避免生成原始问题中不存在的数字？预处理在多大程度上缓解了这一问题？

主要发现

• 采用后缀记法的Transformer模型在某些数据集上的准确率比之前SOTA方法高出30多个百分点。
• 使用通用占位符（⟨i⟩, ⟨q⟩, ⟨x⟩）进行数字标记显著减少了生成输入中不存在的虚假数字。
• 词干化与停用词去除结合导致性能明显下降，表明过度过滤造成的信息损失会损害模型学习。
• 与中缀记法相比，后缀和前缀记法提升了模型的稳定性和准确率，因为中缀记法需要正确放置括号，增加了解码复杂度。
• LST预处理方法（基于词干的停用词标记）在所有数据集上均提升了性能，并增强了推理的一致性。
• 与之前方法相比，该模型平均准确率提升了近10%，表明简单而精心设计的预处理可显著提升性能，而无需增加架构复杂度。