[论文解读] Towards Question Format Independent Numerical Reasoning: A Set of Prerequisite Tasks

Swaroop Mishra, Arindam Mitra+3 more|arXiv (Cornell University)|May 18, 2020

Topic Modeling参考文献 35被引用 12

一句话总结

本文提出 NUMBERGAME，一个包含八种不同数值推理题型的多面向基准测试，其中包括需要外部常识及领域知识的新型题型。研究提出一种通过‘ cheat sheet’进行知识搜寻的多任务学习框架，结果表明，即使增强后的基线模型在性能上仍显著落后于人类水平，凸显了在格式无关的数值推理任务中，超越特定格式数据集的挑战性。

ABSTRACT

Numerical reasoning is often important to accurately understand the world. Recently, several format-specific datasets have been proposed, such as numerical reasoning in the settings of Natural Language Inference (NLI), Reading Comprehension (RC), and Question Answering (QA). Several format-specific models and architectures in response to those datasets have also been proposed. However, there exists a strong need for a benchmark which can evaluate the abilities of models, in performing question format independent numerical reasoning, as (i) the numerical reasoning capabilities we want to teach are not controlled by question formats, (ii) for numerical reasoning technology to have the best possible application, it must be able to process language and reason in a way that is not exclusive to a single format, task, dataset or domain. In pursuit of this goal, we introduce NUMBERGAME, a multifaceted benchmark to evaluate model performance across numerical reasoning tasks of eight diverse formats. We add four existing question types in our compilation. Two of the new types we add are about questions that require external numerical knowledge, commonsense knowledge and domain knowledge. For building a more practical numerical reasoning system, NUMBERGAME demands four capabilities beyond numerical reasoning: (i) detecting question format directly from data (ii) finding intermediate common format to which every format can be converted (iii) incorporating commonsense knowledge (iv) handling data imbalance across formats. We build several baselines, including a new model based on knowledge hunting using a cheatsheet. However, all baselines perform poorly in contrast to the human baselines, indicating the hardness of our benchmark. Our work takes forward the recent progress in generic system development, demonstrating the scope of these under-explored tasks.

研究动机与目标

• 为解决在教育、医疗与科学等实际应用中至关重要的、缺乏针对题型无关数值推理的基准测试的问题。
• 整合八种不同的数值推理题型，包括四种需要外部知识、常识及领域知识的新题型，构建统一数据集。
• 评估模型在多样化题型、任务与数据分布下的泛化能力。
• 识别构建实用数值推理系统的关键挑战，包括题型检测、中间表示映射、知识融合与数据不平衡问题。
• 激励未来在神经符号模型方面开展研究，以提升泛化能力与知识感知推理能力。

提出的方法

• 作者通过整合八种现有题型与四种新题型，构建了一个多面向的数据集，涵盖需要外部知识、常识及领域特定事实的数值推理。
• 设计一种多任务学习设置，使单一模型可处理全部八种题型，要求进行题型检测并转换为统一的中间表示。
• 知识搜寻模块利用 Elasticsearch 从‘ cheat sheet’中检索相关外部知识，并将其附加至输入以实现知识增强推理。
• 在 NumNet+v2 的基础上，增加题型转换器与知识注入流程，构建一个集成外部知识的基线模型。
• 评估多种基线模型，包括移除上下文或问题以测试数据集偏差的偏差检查变体，以及用于缓解类别不平衡的过采样策略。
• 通过四位标注员在每类 100 个样本上的平均得分，建立人类基线，作为性能参考。

实验结果

研究问题

• RQ1 单一模型是否能在无需针对特定题型进行调整的情况下，对八种不同的数值推理题型均表现良好？
• RQ2 在需要常识或领域特定事实的数值推理任务中，引入外部知识在多大程度上能提升性能？
• RQ3 数据不平衡与数据集偏差在多题型数值推理基准中如何影响模型的泛化能力？
• RQ4 知识检索是否对所有题型均有帮助，还是在某些题型中会引入噪声？
• RQ5 统一框架是否能够检测题型并将其转换为统一的中间表示，以支持联合推理？

主要发现

• 所有基线模型，包括知识增强的 Extended NumNet+v2，其性能均显著低于人类基线，表明格式无关的数值推理具有极高难度。
• 类型 1（需要数值常识知识）是最难的题型，模型表现最低，表明此类知识特别难以学习。
• 定量 NLI（类型 3）与基于跨度的多选题（类型 6）表现优于数值答案题型，表明模型更容易预测基于跨度的答案。
• 知识检索在类型 1、2 和 4（需要外部知识的题型）中提升了性能，而在类型 5、6、7 和 8（无需此类知识的题型）中无益处甚至产生负面影响。
• 过采样策略有助于提升低资源题型的性能，但会损害高资源题型的表现，表明数据不平衡仍是关键挑战。
• 偏差检查实验表明，模型未利用数据集偏差，说明该基准数据集偏差极小，对捷径学习具有鲁棒性。