[论文解读] Multi-style Generative Reading Comprehension

Kyosuke Nishida, Itsumi Saito+5 more|arXiv (Cornell University)|Jan 8, 2019

Topic Modeling参考文献 62被引用 12

一句话总结

本文提出 Masque，一种多风格生成式阅读理解模型，通过联合学习问题-文档对并使用条件指针-生成解码器，实现对多种答案风格（例如完整句子、简洁短语）的生成。该模型在 MS MARCO 2.1 和 NarrativeQA 上实现了最先进性能，通过共享注意力机制和风格条件解码，将与风格无关的自然语言生成能力迁移至目标风格。

ABSTRACT

This study tackles generative reading comprehension (RC), which consists of answering questions based on textual evidence and natural language generation (NLG). We propose a multi-style abstractive summarization model for question answering, called Masque. The proposed model has two key characteristics. First, unlike most studies on RC that have focused on extracting an answer span from the provided passages, our model instead focuses on generating a summary from the question and multiple passages. This serves to cover various answer styles required for real-world applications. Second, whereas previous studies built a specific model for each answer style because of the difficulty of acquiring one general model, our approach learns multi-style answers within a model to improve the NLG capability for all styles involved. This also enables our model to give an answer in the target style. Experiments show that our model achieves state-of-the-art performance on the Q&A task and the Q&A + NLG task of MS MARCO 2.1 and the summary task of NarrativeQA. We observe that the transfer of the style-independent NLG capability to the target style is the key to its success.

研究动机与目标

• 为解决生成式阅读理解中的空白，使模型能够生成超越简单跨度抽取的多样化答案风格。
• 开发一个统一模型，能够在无需为每种风格单独训练模型的情况下，生成多种风格的生成式答案。
• 通过学习与风格无关的自然语言生成能力，提升问答中的自然语言生成性能，并实现对目标风格的有效迁移。
• 整合阅读理解、文档排序和可回答性分类的多任务学习，以增强整体理解能力。

提出的方法

• 该模型采用基于 Transformer 的编码器-解码器架构，并使用共享的问题-文档阅读器实现联合表征学习。
• 其采用条件指针-生成解码器，动态控制三种分布的混合：词汇生成、从问题中复制，以及从多个文档中复制。
• 风格条件解码器在每个解码步骤注入一个与风格相关的特殊标记，以调节生成和复制分布的混合权重。
• 模型在结合了问答、文档排序和可回答性分类的多任务目标上进行端到端训练。
• 内容选择通过联合注意力机制在文档级别完成，实现从多个证据源有效摘要。
• 多风格学习通过不使用风格特定层的方式实现，使共享的自然语言生成能力可跨风格迁移。

实验结果

研究问题

• RQ1 单一生成式模型能否在阅读理解任务中有效生成多样化答案风格（例如完整句子、短语）？
• RQ2 如何在一个统一模型中学习并迁移与风格无关的自然语言生成能力至特定目标风格？
• RQ3 阅读理解、文档排序和可回答性分类的联合学习在多大程度上提升了整体性能？
• RQ4 具有风格条件解码的条件指针-生成机制是否能优于按风格单独训练或使用固定生成策略的模型？

主要发现

• Masque 在 MS MARCO 2.1 的问答任务和问答+NLG 任务中均达到最先进性能，优于依赖跨度抽取的先前模型。
• 该模型在 NarrativeQA 的摘要任务中也实现了最先进结果，展现出从问题和文档输入进行强生成式摘要的能力。
• 与风格无关的自然语言生成能力向目标风格的迁移被识别为模型成功的关键因素。
• 具有风格条件混合控制的条件指针-生成解码器，可在无需每种风格单独层的情况下实现有效风格控制。
• 该模型在多种答案风格下表现稳健，表明共享表征学习增强了泛化能力。
• 结合文档排序和可回答性分类的多任务学习提升了阅读器模块的整体鲁棒性和准确性。