[论文解读] Reading Comprehension as Natural Language Inference: A Semantic Analysis

Anshuman Mishra, Dhruvesh Patel+4 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 15被引用 4

一句话总结

本文通过将 RACE 数据集转换为自然语言推理（NLI）格式，将阅读理解任务转化为 NLI 任务，对比在问答（QA）和 NLI 形式上微调的 RoBERTa 模型。研究发现，基于 NLI 的模型在演绎推理、对话理解和数学推理问题上表现优于基于 QA 的模型，而基于 QA 的模型在否定类问题上表现更优，凸显了不同任务形式对性能的影响。

ABSTRACT

In the recent past, Natural language Inference (NLI) has gained significant attention, particularly given its promise for downstream NLP tasks. However, its true impact is limited and has not been well studied. Therefore, in this paper, we explore the utility of NLI for one of the most prominent downstream tasks, viz. Question Answering (QA). We transform the one of the largest available MRC dataset (RACE) to an NLI form, and compare the performances of a state-of-the-art model (RoBERTa) on both these forms. We propose new characterizations of questions, and evaluate the performance of QA and NLI models on these categories. We highlight clear categories for which the model is able to perform better when the data is presented in a coherent entailment form, and a structured question-answer concatenation form, respectively.

研究动机与目标

• 评估将阅读理解转化为自然语言推理（NLI）任务是否能提升模型性能。
• 识别 NLI 模型相较于传统问答（QA）模型表现更优的语义推理类别。
• 分析数据格式（问题-答案拼接 vs. 前提-假设对）对模型性能的影响。
• 对受益于 NLI 形式的题型进行语义表征。
• 根据题型和推理类别为阅读理解任务中的模型选择提供建议。

提出的方法

• 使用基于规则的方法将 RACE 数据集（排除填空类问题）转换为 NLI 格式，将每个问题-答案对转化为以文章为前提、以答案为假设的格式。
• 应用先前工作（Demszky et al., 2018）中的依存句法分析与改写规则，并针对 RACE 特有的题型（如“以下哪项不正确”）进行自定义扩展。
• 在原始 QA 格式的 RACE 数据和转换后的 NLI 格式数据上分别微调 RoBERTa 模型，以比较性能差异。
• 对 175 个开发集样本（来自 QA 与 NLI 模型预测不一致的子集）进行人工标注，划分为 7 个语义推理类别：语言匹配、主旨概括、否定、对话、数学、演绎和归纳推理。
• 使用启发式方法（如关键词“not”、“how many”、“true”）定义非互斥的题型类别，以支持定量比较。
• 在人工标注和启发式分类的类别上评估模型性能，以识别不同形式下的性能优势。

实验结果

研究问题

• RQ1 在哪些语义推理类别中，基于 NLI 的模型在阅读理解任务中表现优于基于 QA 的模型？
• RQ2 当 RoBERTa 模型在 QA 格式与 NLI 格式的阅读理解数据上进行训练时，其性能有何差异？
• RQ3 与简单的问题-答案拼接相比，NLI 转换中高质量假设生成在多大程度上提升了模型性能？
• RQ4 是否存在特定题型（如涉及对话、否定或数学推理的问题），其 NLI 形式能带来显著性能提升？
• RQ5 即使未在 NLI 数据集上进行预训练，NLI 形式是否仍能在复杂推理任务中提供优势？

主要发现

• 在对话推理题上，基于 NLI 的模型准确率达到 83.60%，高于基于 QA 的模型的 80.65%。
• 对于演绎推理题（如“以下哪项陈述为真？”），NLI 模型准确率达到 88.29%，显著优于 QA 模型的 81.91%。
• 在数学推理题（如“讨论了多少种雪的功能？”）中，NLI 模型准确率达到 55.00%，高于 QA 模型的 45.00%，显示出明显优势。
• 在否定类问题（如“以下哪项不为真？”）中，QA 模型表现更优，准确率达到 80.86%，高于 NLI 模型的 77.77%，表明该类别更偏好 QA 形式。
• NLI 模型在需要从对话中推断或进行精确文本演绎的问题上表现出持续优势，表明结构化的假设生成有助于提升此类任务的推理能力。
• 人工分析显示，66% 的性能损失案例（即 QA 模型优于 NLI 模型的情况）源于复杂题型中假设生成质量较差，凸显了高质量转换规则的重要性。