[论文解读] PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation

Bin Bi, Chenliang Li+6 more|arXiv (Cornell University)|Apr 14, 2020

Topic Modeling参考文献 44被引用 20

一句话总结

PALM 提出了一种新颖的预训练框架，该框架在单一的 Transformer 编码器-解码器架构中联合优化自编码和自回归目标，从而实现强大的上下文条件文本生成。该方法在多个生成基准测试中取得了最先进（SOTA）的结果，包括在 CNN/DailyMail 数据集上取得 39.71 的 SOTA ROUGE-L 分数，在 MARCO 数据集上取得 0.498 的 SOTA ROUGE-L 分数，显著优于先前的方法。

ABSTRACT

Self-supervised pre-training, such as BERT, MASS and BART, has emerged as a powerful technique for natural language understanding and generation. Existing pre-training techniques employ autoencoding and/or autoregressive objectives to train Transformer-based models by recovering original word tokens from corrupted text with some masked tokens. The training goals of existing techniques are often inconsistent with the goals of many language generation tasks, such as generative question answering and conversational response generation, for producing new text given context. This work presents PALM with a novel scheme that jointly pre-trains an autoencoding and autoregressive language model on a large unlabeled corpus, specifically designed for generating new text conditioned on context. The new scheme alleviates the mismatch introduced by the existing denoising scheme between pre-training and fine-tuning where generation is more than reconstructing original text. An extensive set of experiments show that PALM achieves new state-of-the-art results on a variety of language generation benchmarks covering generative question answering (Rank 1 on the official MARCO leaderboard), abstractive summarization on CNN/DailyMail as well as Gigaword, question generation on SQuAD, and conversational response generation on Cornell Movie Dialogues.

研究动机与目标

• 解决预训练目标（如去噪）与下游上下文条件化生成任务（如抽象式摘要和生成式问答）之间的不匹配问题。
• 设计一种统一的预训练方案，结合自编码和自回归建模的优势，以提升上下文理解与文本生成能力。
• 提升在需要深入理解输入上下文的任务上的性能，例如生成内容完整、抽象的问答或回复。
• 通过使预训练目标更贴近实际生成行为，缩小预训练与微调之间的分布差异。

提出的方法

• PALM 使用标准的 Transformer 编码器-解码器架构，并在大规模未标注语料上进行联合预训练。
• 首先通过编码器和解码器重建输入序列中的掩码片段，执行自编码任务。
• 然后进入自回归生成阶段，解码器以从左到右的方式预测下一个词。
• 模型采用两阶段目标进行预训练：首先进行去噪（自编码），然后进行自回归生成，两者均基于相同的上下文。
• 在解码器中集成指针-生成网络，以在适当情况下从输入中复制内容，从而提升生成质量。
• 预训练目标被设计为更贴近下游任务（如抽象式摘要和生成式问答），因为在这些任务中，理解上下文并生成新内容至关重要。

实验结果

研究问题

• RQ1 是否可以通过结合自编码和自回归目标的统一预训练框架，提升上下文条件化文本生成性能？
• RQ2 自编码与自回归的联合预训练在抽象式摘要和生成式问答任务上的性能影响如何？
• RQ3 指针-生成网络的引入在上下文感知任务中对生成质量的提升程度如何？
• RQ4 自编码、自回归和预训练等各个组件对 PALM 整体性能的贡献分别是什么？
• RQ5 PALM 的预训练方案是否能减少生成任务中预训练与微调之间的分布差异？

主要发现

• PALM 在 CNN/DailyMail 抽象式摘要基准测试中取得了 39.71 的新 SOTA ROUGE-L 分数，显著优于先前方法。
• 在 MARCO 自然语言生成排行榜上，PALM 取得了 0.498 的 ROUGE-L 分数，位列所有模型中的第 1 名。
• 指针-生成组件对性能有显著贡献，当其被移除时，ROUGE-L 分数下降 0.22，表明其在提升流畅性和内容准确性方面发挥关键作用。
• 消融实验表明，自编码和自回归组件均至关重要，当移除预训练时，性能下降超过 6.5%。
• 该模型展现出强大的泛化能力，在多种任务上均取得 SOTA 结果，包括对话回复生成、问题生成以及 Gigaword 数据集上的抽象式摘要。