[论文解读] Reverse Operation based Data Augmentation for Solving Math Word Problems

Qianying Liu, Wenyu Guan+4 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 31被引用 6

一句话总结

本文提出 RODA，一种基于逆运算的数据增强方法，用于数学应用题，通过反转现有题目的数学逻辑生成高质量的训练样本。通过交换已知量与未知量并反转解题方程，RODA 生成语义有效、富含推理过程的问题，引入新的数学知识点，在 Math23K 数据集上显著提升 SOTA 模型性能，并优于诸如回译等强基线方法。

ABSTRACT

Automatically solving math word problems is a critical task in the field of natural language processing. Recent models have reached their performance bottleneck and require more high-quality data for training. We propose a novel data augmentation method that reverses the mathematical logic of math word problems to produce new high-quality math problems and introduce new knowledge points that can benefit learning the mathematical reasoning logic. We apply the augmented data on two SOTA math word problem solving models and compare our results with a strong data augmentation baseline. Experimental results show the effectiveness of our approach. We release our code and data at https://github.com/yiyunya/RODA.

研究动机与目标

• 为解决因高质量训练数据有限而导致的数学应用题（MWP）求解性能瓶颈问题。
• 克服基于改写的数据增强方法引入噪声且无法生成新的数学推理模式的局限性。
• 开发一种通过反转现有问题的数学逻辑来生成新、高质量 MWP 样本的方法。
• 通过引入超越词汇变化的新数学知识点，提升模型的泛化能力。
• 在多种 MWP 数据集和模型上展示基于逆运算增强方法的有效性。

提出的方法

• 该方法反转给定 MWP 的数学运算：在问题描述中交换已知量与未知量。
• 反转解题方程（例如，从 time = distance / speed 反转为 distance = time × speed），保持数学正确性。
• 将原始问题转化为一个以原始答案为输入的陈述句，原始答案的角色被重新定位为未知量。
• 仅在最终子句中使用疑问代词（例如，“有多少”、“有多少”）以确保新问题在语法和语义上的连贯性。
• 应用方程标准化，避免表达式开头出现负项，以确保一致的句法结构。
• 该方法与模型无关，可应用于任何序列到序列的 MWP 求解器，通过推理级别的数据增强提升泛化能力。

实验结果

研究问题

• RQ1 基于逆运算的数据增强能否生成高质量、数学上有效的 MWP 样本，从而提升模型性能？
• RQ2 该方法是否引入了超越词汇改写的新的数学知识点，从而增强推理泛化能力？
• RQ3 在复杂和简单的 MWP 数据集上，RODA 与强基线方法（如回译）相比，性能提升如何？
• RQ4 该方法能否在不同语言和 MWP 数据集（如 Math23K 和 AllArith）之间实现泛化？
• RQ5 将数据增强应用于最先进的 MWP 求解器时，对模型性能有何影响？

主要发现

• RODA 在 Math23K 数据集上达到 SOTA 性能，优于现有模型和强基线方法。
• 在 Math23K 上，与回译相比，RODA 将 F1 分数提升了 0.4 个百分点（从 70.3% 提升至 70.7%），表明其在复杂、大规模数据上的优越性能。
• 该方法从 AllArith 数据集的 831 个问题中生成了 715 个新的高质量样本，占原始问题数量的 0.86%。
• 在更简单的 AllArith 数据集上，RODA 与回译性能相当，表明其在不同数据复杂度水平下的鲁棒性。
• 增强数据引入了新的数学知识点（例如，逆向公式），帮助模型学习超越表面词汇改写的推理逻辑。
• 该方法通过保持数学严谨性并仅修改已知/未知变量的结构角色，有效避免噪声，确保语义有效性。