[论文解读] Why Machine Reading Comprehension Models Learn Shortcuts?

Yuxuan Lai, Chen Zhang+3 more|arXiv (Cornell University)|Jun 2, 2021

Topic Modeling参考文献 28被引用 4

一句话总结

本文研究了机器阅读理解（MRC）模型为何学习捷径解法而非真正的理解能力。通过使用两个带有配对捷径问题与挑战性问题的合成数据集，作者表明，由于梯度优化优先级更高，模型更早且更容易学习捷径问题，且训练数据中捷径问题比例过高会阻碍复杂推理能力（如改写）的发展。

ABSTRACT

Recent studies report that many machine reading comprehension (MRC) models can perform closely to or even better than humans on benchmark datasets. However, existing works indicate that many MRC models may learn shortcuts to outwit these benchmarks, but the performance is unsatisfactory in real-world applications. In this work, we attempt to explore, instead of the expected comprehension skills, why these models learn the shortcuts. Based on the observation that a large portion of questions in current datasets have shortcut solutions, we argue that larger proportion of shortcut questions in training data make models rely on shortcut tricks excessively. To investigate this hypothesis, we carefully design two synthetic datasets with annotations that indicate whether a question can be answered using shortcut solutions. We further propose two new methods to quantitatively analyze the learning difficulty regarding shortcut and challenging questions, and revealing the inherent learning mechanism behind the different performance between the two kinds of questions. A thorough empirical analysis shows that MRC models tend to learn shortcut questions earlier than challenging questions, and the high proportions of shortcut questions in training sets hinder models from exploring the sophisticated reasoning skills in the later stage of training.

研究动机与目标

• 探究MRC模型为何学习捷径解法而非预期的理解能力（如改写或共指消解）。
• 解决缺乏针对捷径问题与挑战性问题标注的数据集的问题，从而限制了对模型学习行为的经验分析。
• 量化训练数据中捷径问题比例对模型学习动态及复杂推理任务性能的影响。
• 开发方法以探测模型在捷径问题与复杂推理问题上性能差异背后的学科学习机制。

提出的方法

• 设计两个合成的MRC数据集，其中每个（篇章，问题）对均包含一个捷径版本和一个需要改写或共指消解的挑战性版本。
• 确保配对问题在风格、长度和主题上几乎完全相同，以隔离推理复杂度的影响。
• 提出两种评估方法，以在训练过程中定量测量捷径问题与挑战性问题集合的学习难度。
• 使用基于梯度的优化分析，追踪模型学习捷径答案与挑战性答案的时间点，识别学习优先级。
• 在不同比例的捷径问题下训练BiDAF和BERT模型，以观察训练动态与性能变化。
• 通过逐步准确率追踪分析模型行为，显示模型首次在每类问题上正确回答的时间点。

实验结果

研究问题

• RQ1 为何MRC模型更容易学习捷径解法而非预期的理解能力？
• RQ2 训练数据中捷径问题的比例如何影响模型对复杂推理能力的学习？
• RQ3 与挑战性问题相比，模型在训练的哪个阶段学习捷径问题？
• RQ4 梯度优化在捷径学习优先于深层推理的过程中起到什么作用？
• RQ5 我们能否定量测量捷径问题与挑战性问题之间学习难度的差异？

主要发现

• 模型学习捷径问题明显早于挑战性问题，BERT在仅380个训练步骤内即可正确回答捷径问题。
• 在相同训练设置下，基于改写的挑战性问题直到630步才被正确回答，表明存在明显的学科学习延迟。
• 训练数据中捷径问题比例越高，模型越过度依赖捷径，导致在后期训练阶段缺乏学习复杂推理能力的动力。
• 基于梯度的优化器在训练初期优先拟合捷径模式，从而阻碍了对复杂推理能力的探索。
• 合成数据集成功隔离了推理复杂度，实现了对模型学习行为的受控分析。
• 结果实证证实，模型倾向于首先学习更简单的决策边界，而捷径问题代表了MRC中此类更简单的边界。