[论文解读] Multi-Task Learning for Machine Reading Comprehension.

Yichong Xu, Xiaodong Liu+3 more|arXiv (Cornell University)|Sep 18, 2018

Topic Modeling参考文献 14被引用 11

一句话总结

本文提出了一种多任务学习框架，通过在来自不同领域的多个数据集上联合训练机器阅读理解（MRC）模型，利用域外数据学习鲁棒且通用的上下文表征。该方法在 SQuAD、MS MARCO、NewsQA 等多个基准上显著优于当前最先进模型，证明其与现有的预训练表征方法（如词嵌入和语言模型）具有正交性提升效果。

ABSTRACT

We propose a multi-task learning framework to jointly train a Machine Reading Comprehension (MRC) model on multiple datasets across different domains. Key to the proposed method is to learn robust and general contextual representations with the help of out-domain data in a multi-task framework. Empirical study shows that the proposed approach is orthogonal to the existing pre-trained representation models, such as word embedding and language models. Experiments on the Stanford Question Answering Dataset (SQuAD), the Microsoft MAchine Reading COmprehension Dataset (MS MARCO), NewsQA and other datasets show that our multi-task learning approach achieves significant improvement over state-of-the-art models in most MRC tasks.

研究动机与目标

• 提升机器阅读理解模型在多样化领域中的泛化能力和鲁棒性。
• 探究域外训练数据是否能够增强 MRC 中的上下文表征学习。
• 开发一种多任务学习框架，联合优化多个 MRC 数据集上的性能。
• 评估多任务学习与现有预训练表征模型之间的兼容性及互补优势。
• 通过联合训练在多个 MRC 基准上实现最先进性能。

提出的方法

• 该框架在来自不同领域的多个数据集（包括 SQuAD、MS MARCO 和 NewsQA）上联合训练单一 MRC 模型。
• 在训练过程中利用域外数据以学习更鲁棒且通用的上下文表征。
• 该方法被设计为与现有的预训练表征模型（如词嵌入和语言模型）正交。
• 模型采用端到端训练，包含共享组件和任务特定组件，以平衡领域特定特征与通用特征。
• 多任务目标函数结合所有数据集的损失信号，联合优化跨领域的理解能力。
• 该架构可实现从高资源领域到低资源或域外设置的知识迁移。

实验结果

研究问题

• RQ1 在来自不同领域的多个 MRC 数据集上进行联合训练，能否提升模型的泛化能力？
• RQ2 引入域外数据是否能提升 MRC 模型中上下文表征的质量？
• RQ3 与在单个数据集上微调相比，多任务学习在性能和鲁棒性方面表现如何？
• RQ4 所提出的方法在多大程度上与现有预训练表征模型兼容并具有互补优势？
• RQ5 该多任务框架能否在多样化 MRC 基准上实现最先进结果？

主要发现

• 所提出的多任务学习方法在 SQuAD、MS MARCO 和 NewsQA 上显著优于当前最先进模型。
• 当与现有的预训练表征模型（如词嵌入和语言模型）结合时，该方法表现出正交性增益。
• 域外数据对学习鲁棒且通用的上下文表征在 MRC 模型中具有实质性贡献。
• 该框架在无需领域特定适配的情况下，提升了模型在多样化领域中的泛化能力。
• 实证结果表明在多个数据集上均取得一致性能提升，证明了联合训练的有效性。
• 即使在低资源或域外数据集上训练，该方法依然有效，表明其具备强大的迁移能力。