[论文解读] Retrieve, Read, Rerank: Towards End-to-End Multi-Document Reading Comprehension

Minghao Hu, Yuxing Peng+2 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 34被引用 5

一句话总结

该论文提出 RE3 QA，一种用于多文档阅读理解的统一端到端模型，将检索、阅读理解与答案重排序整合到单一网络中，共享上下文表征。通过联合训练所有组件并利用高质量上游输出对下游任务进行监督，该模型在 TriviaQA 和 SQuAD 变体数据集上实现了最先进性能，同时提升了推理效率并缓解了上下文不一致问题。

ABSTRACT

This paper considers the reading comprehension task in which multiple documents are given as input. Prior work has shown that a pipeline of retriever, reader, and reranker can improve the overall performance. However, the pipeline system is inefficient since the input is re-encoded within each module, and is unable to leverage upstream components to help downstream training. In this work, we present RE$^3$QA, a unified question answering model that combines context retrieving, reading comprehension, and answer reranking to predict the final answer. Unlike previous pipelined approaches, RE$^3$QA shares contextualized text representation across different components, and is carefully designed to use high-quality upstream outputs (e.g., retrieved context or candidate answers) for directly supervising downstream modules (e.g., the reader or the reranker). As a result, the whole network can be trained end-to-end to avoid the context inconsistency problem. Experiments show that our model outperforms the pipelined baseline and achieves state-of-the-art results on two versions of TriviaQA and two variants of SQuAD.

研究动机与目标

• 解决基于流水线的多文档阅读理解系统中因上游组件独立训练而导致的上下文不一致问题。
• 通过消除各独立模块间重复的输入编码，提升推理效率。
• 通过使高质量上游输出（如检索到的段落）直接监督下游组件（如阅读器、重排序器），提升模型性能。
• 通过端到端训练与参数共享，在 TriviaQA 和基于 SQuAD 的多文档问答基准上实现最先进结果。
• 证明采用共享表征的统一训练方式在准确率与速度上均优于流水线基线方法。

提出的方法

• 模型使用共享的预训练 Transformer 块对输入文本片段进行编码，其中早期块用于检索相关上下文，后期块用于答案预测。
• 检索组件采用提前停止的前向传播生成检索得分，以降低计算成本，同时保持有效性。
• 阅读器基于共享上下文表征，从 top-k 检索到的段落中使用跨度预测头生成多个候选答案。
• 对阅读器采用弱监督训练策略，利用答案重排序器生成的硬标签与软标签以提升监督质量。
• 答案重排序器使用共享编码器生成的跨度级表征对候选答案重新评分，并应用非极大值抑制（NMS）去除重叠候选。
• 最终预测通过结合检索、阅读与重排序得分实现，支持对整个流水线的端到端优化。

实验结果

研究问题

• RQ1 统一的端到端模型是否能通过联合训练检索、阅读与重排序组件，在多文档问答中超越流水线系统？
• RQ2 在各组件间共享上下文表征是否能提升模型效率并减少上下文不一致？
• RQ3 当直接用于监督时，高质量上游输出（如神经检索器结果）在多大程度上能提升下游阅读器与重排序器的性能？
• RQ4 提前停止的检索器设计在检索有效性与推理速度之间如何权衡？
• RQ5 重排序器、检索器与阅读器各组件对整体模型性能的相对贡献如何？

主要发现

• RE3 QA 在 TriviaQA-Wikipedia 上取得 75.2 的 F1，在 TriviaQA-unfiltered 上取得 71.2 的 F1，优于先前最先进方法。
• 在 SQuAD-document 上，RE3 QA 相较于先前最先进方法实现 14.8 的绝对 F1 提升；在 SQuAD-open 上实现 4.1 的绝对 F1 提升。
• 在推理阶段，RE3 QA 在 TriviaQA-Wikipedia 上比 BERT 基础流水线基线快 2.3 倍，在 SQuAD-document 上快 2.1 倍。
• 移除答案重排序器后，TriviaQA-Wikipedia 上 F1 下降 2.8 点，SQuAD-document 上下降 0.8 点，表明其关键作用。
• 移除检索器（替换为 TF-IDF）导致 F1 分别下降 3.3 和 2.5 点，证实其在有效上下文选择中的重要性。
• 消融研究显示，在 TriviaQA 上硬标签的影响大于软标签，而在 SQuAD 上软标签的影响更大，表明监督机制具有数据集特异性。