[论文解读] Retrieve-and-Read: Multi-task Learning of Information Retrieval and Reading Comprehension

Kyosuke Nishida, Itsumi Saito+3 more|arXiv (Cornell University)|Aug 31, 2018

Topic Modeling参考文献 52被引用 30

一句话总结

本文提出 Retrieve-and-Read，一种监督式多任务学习模型，通过共享隐藏层并最小化联合损失，联合训练信息检索（IR）与阅读理解（RC）。通过使用答案片段监督训练 IR 组件，显著提升了段落重排序的准确性，在使用完整维基百科作为知识源的 SQuAD 上实现了最先进性能。

ABSTRACT

This study considers the task of machine reading at scale (MRS) wherein, given a question, a system first performs the information retrieval (IR) task of finding relevant passages in a knowledge source and then carries out the reading comprehension (RC) task of extracting an answer span from the passages. Previous MRS studies, in which the IR component was trained without considering answer spans, struggled to accurately find a small number of relevant passages from a large set of passages. In this paper, we propose a simple and effective approach that incorporates the IR and RC tasks by using supervised multi-task learning in order that the IR component can be trained by considering answer spans. Experimental results on the standard benchmark, answering SQuAD questions using the full Wikipedia as the knowledge source, showed that our model achieved state-of-the-art performance. Moreover, we thoroughly evaluated the individual contributions of our model components with our new Japanese dataset and SQuAD. The results showed significant improvements in the IR task and provided a new perspective on IR for RC: it is effective to teach which part of the passage answers the question rather than to give only a relevance score to the whole passage.

研究动机与目标

• 解决开放域问答系统中信息检索准确率限制整体性能的瓶颈问题。
• 探究使用答案片段监督训练 IR 是否能提升阅读理解任务中的检索质量。
• 开发一种联合学习框架，使 IR 与 RC 组件能够从共享表征中获益。
• 利用新创建的日语数据集，评估多任务学习在低资源和多语言设置下的有效性。
• 通过结合快速 IR 与高精度神经重排序，实现端到端问答系统的实际部署。

提出的方法

• 该模型为 IR 和 RC 任务使用共享编码器网络，通过共享隐藏层实现参数共享与知识迁移。
• 联合优化两个损失函数：一个用于段落相关性（IR），另一个用于答案片段抽取（RC）。
• IR 的负样本通过将 SQuAD 数据中的问题与非相关段落配对生成。
• 采用渐进式设置，即使用快速精确匹配 IR 结果，再由神经模型进行重排序，以保持速度与可扩展性。
• 模型在 SQuAD 风格三元组（问题、段落、答案片段）上端到端训练，利用答案片段的监督信号引导 IR。
• 该方法与当前最先进 RC 模型（如 QANet）兼容，并可扩展以处理无法回答的问题。

实验结果

研究问题

• RQ1 在大规模机器阅读中，使用答案片段监督训练 IR 组件是否能提升检索准确率？
• RQ2 与独立训练相比，使用共享表征的多任务学习是否能提升 IR 与 RC 的性能？
• RQ3 该方法在非英文语料库中表现如何，特别是在存在主题相似与冗余段落的情况下？
• RQ4 在 IR 组件中，答案片段监督与联合损失最小化各自的贡献分别是什么？
• RQ5 在大规模检索设置中，该模型能否在计算效率高的同时保持高性能？

主要发现

• Retrieve-and-Read 模型在使用完整维基百科作为检索源的 SQuAD 基准上实现了最先进性能，优于先前方法。
• 当使用答案片段监督进行训练时，IR 组件表现出显著改进，减少了仅依赖问题词匹配导致的检索错误。
• 该模型在新创建的 Jp-News 数据集上展现出强大的泛化能力，该数据集包含主题相似的日语文本，证明了其在多语言与复杂检索场景下的有效性。
• 消融实验确认，与仅相关性监督相比，答案片段监督对 IR 更为有效，因为它教会模型识别与答案相关的内容。
• 渐进式设置实现了高速推理而无需牺牲准确性，使模型在大规模部署中具备实用性。
• 多任务学习设置同时提升了 IR 与 RC 性能，表明共享表征能增强整体问答系统的鲁棒性。