[论文解读] QURIOUS: Question Generation Pretraining for Text Generation

Shashi Narayan, Gonçalo Simões+3 more|arXiv (Cornell University)|Apr 23, 2020

Topic Modeling参考文献 29被引用 7

一句话总结

本文提出 Qurious，一种用于文本生成的预训练方法，通过从文档-段落配对中生成问题来提升内容选择与语言建模能力。通过在问题生成任务上进行微调，模型在抽象摘要和面向答案的问题生成任务上取得了最先进性能，生成的输出比 RoBERTaS2S 等任务无关基线模型更加自然、简洁且信息丰富。

ABSTRACT

Recent trends in natural language processing using pretraining have shifted focus towards pretraining and fine-tuning approaches for text generation. Often the focus has been on task-agnostic approaches that generalize the language modeling objective. We propose question generation as a pretraining method, which better aligns with the text generation objectives. Our text generation models pretrained with this method are better at understanding the essence of the input and are better language models for the target task. When evaluated on two text generation tasks, abstractive summarization and answer-focused question generation, our models result in state-of-the-art performances in terms of automatic metrics. Human evaluators also found our summaries and generated questions to be more natural, concise and informative.

研究动机与目标

• 解决现有预训练目标与文本生成挑战（如内容选择与语言实现）之间对齐不足的问题。
• 探究问题生成预训练是否能提升模型在抽象摘要与面向答案的问题生成任务上的性能。
• 评估问题生成作为预训练目标相较于任务无关方法（如掩码语言建模）的有效性。
• 在低资源设置下评估问题生成预训练在样本效率与泛化能力方面的表现。
• 证明通过问题生成进行预训练可生成更加自然、简洁且信息丰富的文本生成输出。

提出的方法

• 使用公开的问答数据集（如 SQuAD 和 Natural Questions）中的文档-段落配对，在序列到序列模型上进行问题生成的预训练。
• 利用来自社区问答平台（如 Quora、Stack Overflow 和 Yahoo Answers）收集的预训练数据以扩大训练数据规模。
• 在下游文本生成任务（包括抽象摘要和面向答案的问题生成）上对预训练模型进行微调。
• 采用与 BERT 和 RoBERTa 检查点兼容的标准 Transformer 编码器-解码器架构训练模型。
• 引入一种零样本变体（QuriousZ），利用问题生成预训练但不在目标任务上进行任何微调。
• 结合自动指标（ROUGE-L）与人工评估，将模型输出与基线模型及参考摘要/问题进行对比。

实验结果

研究问题

• RQ1 问题生成预训练能否改善文本生成模型的内容选择与语言实现能力？
• RQ2 与任务无关的预训练相比，问题生成预训练是否能提升模型在抽象摘要任务上的表现？
• RQ3 Qurious 在面向答案的问题生成任务中，其生成问题在自然度与正确性方面表现如何？
• RQ4 问题生成预训练在低资源设置下在多大程度上提升了样本效率？
• RQ5 相较于标准的掩码语言建模，问题生成目标在文本生成任务中是否更具有效性？

主要发现

• 在极端摘要任务中，Qurious 在 ROUGE-L F1 指标上达到最先进水平，优于 RoBERTaS2S 和其他基线模型。
• 在人工评估中，Qurious 生成的摘要在自然度、简洁性与信息量方面显著优于 RoBERTaS2S 生成的摘要。
• 在 SQuAD 数据集上，Qurious 在生成问题的自然度与正确性方面均优于 RoBERTaS2S，且与人工撰写的问题相比无显著统计差异。
• 在 NQ 数据集上，Qurious 在自然度与正确性方面表现强劲，尽管在正确性上略低于人工问题。
• 在样本效率实验中，即使仅使用 50% 的训练数据，Qurious 仍优于 RoBERTaS2S，表明以内容选择为导向的预训练在低资源场景下比任务无关的掩码方法更有效。
• 零样本变体 QuriousZ 在摘要任务中表现出色，表明问题生成预训练能隐式捕捉与摘要相关的内容选择能力。