[论文解读] Unit Dependency Graph and its Application to Arithmetic Word Problem Solving

Subhro Roy, Dan Roth|arXiv (Cornell University)|Dec 3, 2016

Natural Language Processing Techniques参考文献 10被引用 17

一句话总结

本文提出单位依赖图（Unit Dependency Graphs, UDGs），一种用于算术应用题中单位关系的结构化表示方法，以提升数学应用题求解器的定量推理能力。通过在分解推理框架中建模单位兼容性、速率关系和解题约束，UDGs 将求解器错误率降低超过10%，并增强了对词汇和模板变化的鲁棒性，优于所有先前的系统。

ABSTRACT

Math word problems provide a natural abstraction to a range of natural language understanding problems that involve reasoning about quantities, such as interpreting election results, news about casualties, and the financial section of a newspaper. Units associated with the quantities often provide information that is essential to support this reasoning. This paper proposes a principled way to capture and reason about units and shows how it can benefit an arithmetic word problem solver. This paper presents the concept of Unit Dependency Graphs (UDGs), which provides a compact representation of the dependencies between units of numbers mentioned in a given problem. Inducing the UDG alleviates the brittleness of the unit extraction system and allows for a natural way to leverage domain knowledge about unit compatibility, for word problem solving. We introduce a decomposed model for inducing UDGs with minimal additional annotations, and use it to augment the expressions used in the arithmetic word problem solver of (Roy and Roth 2015) via a constrained inference framework. We show that introduction of UDGs reduces the error of the solver by over 10 %, surpassing all existing systems for solving arithmetic word problems. In addition, it also makes the system more robust to adaptation to new vocabulary and equation forms .

研究动机与目标

• 通过系统性地建模单位关系，解决算术应用题求解中单位抽取的脆弱性问题。
• 通过引入关于单位兼容性和速率关系的领域知识，改进算术应用题求解器。
• 通过利用全局单位依赖关系，降低对词汇和模板重叠的依赖，从而提升泛化能力。
• 开发一种最小标注数据的 UDG 诱导方法，利用解题答案和稀疏的速率标注来推断完整 UDG 结构。
• 通过在单位依赖关系上施加约束推理，提升求解器的鲁棒性和准确性。

提出的方法

• 提出单位依赖图（UDGs）作为有向带标签图，顶点代表数量和问题，边代表单位关系，如相同单位（Same Unit）、分子单位（Num Unit）和分母单位（Den Unit）。
• 使用分解模型以最少的额外标注预测 UDG，利用解题答案和少量速率标注推断完整的 UDG 结构。
• 引入一种约束推理框架，将 UDG 预测与表达式生成相结合，确保解题表达式中的单位一致性。
• 采用结构化预测方法，结合条件随机场（CRF）联合预测顶点标签（如 Rate）和边类型（如 Same Unit、Den Unit）。
• 使用带有可学习超参数（λ_vertex 和 λ_edge）的损失函数，在训练过程中平衡顶点和边预测的准确性。
• 采用弱监督学习策略，从解题表达式和速率标签中推断完整的 UDG 标注，最大限度减少人工标注数据的需求。

实验结果

研究问题

• RQ1 如何建模算术应用题中的单位关系，以提升推理准确性？
• RQ2 基于图的单位依赖表示能否增强算术应用题求解器对词汇和模板变化的鲁棒性？
• RQ3 UDGs 在多大程度上能减少现有求解器因单位处理不一致导致的错误？
• RQ4 能否通过利用解题表达式和稀疏速率标注，以最少的人工标注数据诱导出 UDG？
• RQ5 在求解器中引入单位依赖信息，对其在新词汇和方程形式上的泛化能力有何影响？

主要发现

• 所提出的 UnitDep 系统通过使用 UDG，相较于先前最先进系统 LCA++，在算术应用题基准测试中将错误率降低超过10%。
• 引入 UDG 后，对词汇重叠减少的鲁棒性提升5%，对模板重叠减少的鲁棒性也提升5%，表明泛化能力显著增强。
• 将 λ_vertex 和 λ_edge 均设为零（等价于 LCA++）时性能下降，证实 UDG 中的顶点和边信息对性能提升均至关重要。
• 在 LCA++ 失败的10%案例中，系统通过单位一致性检查正确识别并排除了无关数量。
• UnitDep 的主要错误来源为多余数量检测（50%）和数学理解不足（23%），表明在实体和概念建模方面仍有改进空间。
• 在 Illinois 和 Commoncore 数据集上，UnitDep 分别实现相对于 LCA++ 的1%和4%绝对准确率提升，证实其在多样化基准上的持续优势。