[论文解读] Option Comparison Network for Multiple-choice Reading Comprehension

Qiu Ran, Peng Li+2 more|arXiv (Cornell University)|Mar 7, 2019

Topic Modeling参考文献 18被引用 50

一句话总结

本文介绍了一种选项对比网络（OCN），对每个答案选项使用一个 skimmer（基于 BERT）进行编码，然后在词级上对选项进行比较以提取相关性，从而提高 RACE 的 MCRC 并超越 Amazon Mechanical Turk 的表现。

ABSTRACT

Multiple-choice reading comprehension (MCRC) is the task of selecting the correct answer from multiple options given a question and an article. Existing MCRC models typically either read each option independently or compute a fixed-length representation for each option before comparing them. However, humans typically compare the options at multiple-granularity level before reading the article in detail to make reasoning more efficient. Mimicking humans, we propose an option comparison network (OCN) for MCRC which compares options at word-level to better identify their correlations to help reasoning. Specially, each option is encoded into a vector sequence using a skimmer to retain fine-grained information as much as possible. An attention mechanism is leveraged to compare these sequences vector-by-vector to identify more subtle correlations between options, which is potentially valuable for reasoning. Experimental results on the human English exam MCRC dataset RACE show that our model outperforms existing methods significantly. Moreover, it is also the first model that surpasses Amazon Mechanical Turker performance on the whole dataset.

研究动机与目标

• 在人类策略层面，提出在阅读文章前比较选项以提升 MCRC 的推理能力。

提出的方法

• 对每个选项与文章和问题一起进行编码，使用基于 BERT 的 skimmer 产生选项特征。
• 通过在选项表示之间进行注意力计算来获得逐词的相关性，从而收集成对和整体的选项相关性。
• 通过共注意力和自注意力提取的选项相关性重新阅读文章，以获得完整信息的选项表示。
• 通过对最终选项表示进行池化并对选项分数进行 softmax 预测正确选项。
• 使用交叉熵损失和 L2 正则化进行端到端优化的训练。

实验结果

研究问题

• RQ1 固定长度或独立的选项表示相比，逐词级别的选项比较是否能提升 MCRC 的性能？
• RQ2 在重新阅读段落时，选项之间的相关性是否能显著帮助推理？
• RQ3 这种模型在 RACE 上能接近到多少人类水平，是否能超过 Amazon Mechanical Turk 的质量？

主要发现

• 使用基于 BERT 的 skimmer 的 OCN 相较基线在 RACE 上获得显著提升。
• OCN LARGE 在完整的 RACE 数据集上超过 Amazon Mechanical Turker，在 RACE-H 子集上也显示出显著增益。
• 消融实验显示去除选项比较或使用非 BERT 嵌入会显著降低性能，突显了选项相关性建模和预训练表示的重要性。
• 该模型仍低于人类上限表现，表明在复杂推理任务中仍有提升空间。
• 预训练的上下文化表示（BERT/GPT）相比非预训练模型显著提升了性能。