[论文解读] What Makes Reading Comprehension Questions Easier?

Saku Sugawara, Kentaro Inui+2 more|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 26被引用 15

一句话总结

本研究通过应用两种简单启发式方法——实体类型识别和基于注意力的句子匹配——将12个近期的机器阅读理解（MRC）数据集划分为简单和困难子集，探究为何某些MRC问题比其他问题更容易。研究发现，困难问题需要知识推理和多句推理，而基线模型在困难子集上的表现显著下降，表明当前的MRC基准可能因过于强调基于提示的简单问题而高估了模型能力。

ABSTRACT

A challenge in creating a dataset for machine reading comprehension (MRC) is to collect questions that require a sophisticated understanding of language to answer beyond using superficial cues. In this work, we investigate what makes questions easier across recent 12 MRC datasets with three question styles (answer extraction, description, and multiple choice). We propose to employ simple heuristics to split each dataset into easy and hard subsets and examine the performance of two baseline models for each of the subsets. We then manually annotate questions sampled from each subset with both validity and requisite reasoning skills to investigate which skills explain the difference between easy and hard questions. From this study, we observed that (i) the baseline performances for the hard subsets remarkably degrade compared to those of entire datasets, (ii) hard questions require knowledge inference and multiple-sentence reasoning in comparison with easy questions, and (iii) multiple-choice questions tend to require a broader range of reasoning skills than answer extraction and description questions. These results suggest that one might overestimate recent advances in MRC.

研究动机与目标

• 探究近期MRC数据集中阅读理解问题为何更简单或更难的因素。
• 应对MRC基准中评估过拟合和非预期偏差的风险，即模型可能利用浅层提示而非真正理解文本。
• 评估当前MRC数据集是否真正测试高级推理能力，还是被简单模式化的问题主导。
• 比较三种问题类型（答案抽取、描述、选择题）在推理需求上的差异。
• 通过识别有效且具挑战性的问题类型，为构建更真实的MRC数据集提供框架。

提出的方法

• 作者提出两种简单启发式方法：(1) 实体类型识别，用于识别需要特定答案类型（如时间、人物）的问题；(2) 基于注意力的句子匹配，用于识别与问题在语境上最相似的句子。
• 利用这些启发式方法，根据答案是否可通过单句、基于提示的推理获得，或是否需要更广泛上下文，将12个MRC数据集分别划分为简单和困难子集。
• 在简单和困难子集上评估两种基线神经网络模型——双向注意力流（Bidirectional Attention Flow）和门控注意力阅读器（Gated-Attention Reader），以衡量模型在困难问题上的性能下降程度。
• 对每个子集的抽样问题进行人工标注，标记其有效性及所需推理技能，包括词语匹配、知识推理和多句推理。
• 分析不同问题类型（答案抽取、描述、选择题）之间推理技能分布的差异，并评估这些技能对模型性能的影响。
• 采用以技能为导向的评估方法，检验数据集是否真正测试深层理解能力，而非依赖任务特定的过拟合。

实验结果

研究问题

• RQ1 在当前基准数据集中，是什么因素使某些MRC问题比其他问题更容易？
• RQ2 当面对需要更深层次推理的困难问题时，基线模型的性能下降程度如何？
• RQ3 哪些推理技能——如知识推理或多句推理——在困难问题中占主导地位？
• RQ4 不同问题类型（答案抽取、描述、选择题）在推理需求和可回答性方面有何差异？
• RQ5 当前MRC数据集在多大程度上依赖表面提示，可能高估了模型性能？

主要发现

• 与整个数据集相比，基线模型在困难子集上的性能出现显著下降，表明困难问题具有明显更高的挑战性。
• 困难问题远比简单问题更频繁地需要知识推理和多句推理，而简单问题通常可通过单句词语匹配策略解决。
• 尽管选择题通常更具可回答性和明确性，但其需要的推理技能范围比答案抽取或描述题更广。
• 研究发现，当前MRC数据集偏向于简单、基于提示的问题，这可能导致对模型在自然语言理解能力上的表现产生高估。
• 基于启发式的划分方法能有效分离出需要更深层次理解的问题，为数据集分析和基准设计提供了实用工具。
• 人工标注结果确认，简单问题主要可通过词语匹配解决，而困难问题则需要推理和跨句子信息整合。