[论文解读] Retrospective Reader for Machine Reading Comprehension

Zhuosheng Zhang, Junjie Yang+1 more|arXiv (Cornell University)|Jan 27, 2020

Topic Modeling被引用 22

一句话总结

本文提出了一种名为回顾性阅读器（Retrospective Reader，Retro-Reader）的两阶段机器阅读理解模型，其通过先进行粗略阅读以生成初步判断，再进行深入阅读以验证答案，从而模仿人类阅读过程。该模型在 SQuAD2.0 和 NewsQA 数据集上实现了最先进性能，显著提升了无法回答问题的检测能力，且与强基线模型相比具有统计显著性优势。

ABSTRACT

Machine reading comprehension (MRC) is an AI challenge that requires machine to determine the correct answers to questions based on a given passage. MRC systems must not only answer question when necessary but also distinguish when no answer is available according to the given passage and then tactfully abstain from answering. When unanswerable questions are involved in the MRC task, an essential verification module called verifier is especially required in addition to the encoder, though the latest practice on MRC modeling still most benefits from adopting well pre-trained language models as the encoder block by only focusing on the "reading". This paper devotes itself to exploring better verifier design for the MRC task with unanswerable questions. Inspired by how humans solve reading comprehension questions, we proposed a retrospective reader (Retro-Reader) that integrates two stages of reading and verification strategies: 1) sketchy reading that briefly investigates the overall interactions of passage and question, and yield an initial judgment; 2) intensive reading that verifies the answer and gives the final prediction. The proposed reader is evaluated on two benchmark MRC challenge datasets SQuAD2.0 and NewsQA, achieving new state-of-the-art results. Significance tests show that our model is significantly better than the strong ELECTRA and ALBERT baselines. A series of analysis is also conducted to interpret the effectiveness of the proposed reader.

研究动机与目标

• 为解决机器阅读理解中无法回答问题的检测挑战，即当段落中不存在答案时，模型必须选择不回答。
• 改进 MRC 系统中的验证器设计，尽管预训练语言模型作为编码器已被广泛使用，但该方向仍缺乏充分探索。
• 开发一种更有效的答案验证机制，以提升模型在真实 MRC 应用中的鲁棒性与准确性。
• 探索如何将类人阅读策略——粗略阅读与深入阅读——形式化为神经网络架构，以提升 MRC 性能。

提出的方法

• 该模型采用两阶段阅读策略：首先，通过粗略阅读模块快速分析段落与问题之间的交互，生成初始可回答性判断。
• 其次，通过深入阅读模块重新审视段落与问题，利用优化的注意力机制验证候选答案。
• 粗略阅读与深入阅读模块均基于并行的 Transformer 编码器实现，具有不同的训练目标：一个用于跨度预测，另一个用于可回答性分类。
• 最终预测通过融合两个模块的输出生成，其中深入阅读器对粗略阅读器的初始决策进行优化。
• 该架构以预训练语言模型（如 ALBERT）作为主干编码器，并配备针对答案跨度预测与可回答性验证的任务特定头。
• 验证器组件通过端到端的双目标损失函数进行训练，联合优化答案跨度准确率与可回答性检测性能。

实验结果

研究问题

• RQ1 两阶段阅读策略（粗略阅读与深入阅读）是否能提升机器阅读理解性能，尤其是在无法回答的问题上？
• RQ2 集成专用验证模块对使用强大预训练语言模型的 MRC 模型性能有何影响？
• RQ3 类人阅读模式是否相比标准流水线或拼接式验证器设计，能带来更好的泛化能力与鲁棒性？
• RQ4 所提方法在不损害可回答问题性能的前提下，能在多大程度上提升可回答性检测能力？

主要发现

• 回顾性阅读器在 SQuAD2.0 上达到最先进性能，精确匹配（EM）为 87.8%，F1 得分为 90.9%，优于强基线 ALBERT 模型。
• 在 NewsQA 数据集上，该模型取得 EM 57.1% 与 F1 67.5% 的成绩，展现出对强基线模型的一致性改进。
• 统计显著性检验确认，与强基线相比性能提升具有显著性，表明该方法具有鲁棒性与可靠性。
• 该模型优于参数量相当的两个相同基线模型的集成，证明性能提升源于架构创新，而非单纯模型容量增加。
• 该模型有效减少了在无法回答问题上的幻觉现象：当 ALBERT 基线错误地将 'Great Lakes Megalopolis and the Northeastern megalopolis' 作为答案时，回顾性阅读器正确预测为 'no answer'。
• 消融实验证明，答案验证机制对性能提升贡献显著，而单纯增加层数或参数量则仅带来微小改进。