[论文解读] Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization

Pengcheng He, Baolin Peng+12 more|arXiv (Cornell University)|Aug 21, 2022

Topic Modeling被引用 5

一句话总结

Z-Code++ 是一种经过预训练的编码器-解码器语言模型，通过两阶段预训练过程、解耦注意力机制以及编码器内融合（fusion-in-encoder）技术，专门优化了生成式文本摘要。它在跨5种语言的13项摘要任务中，有9项达到新的 SOTA 结果，并在零样本和少样本设置下优于参数量大得多的 PaLM 540B 和 GPT-3 175B 模型。

ABSTRACT

This paper presents Z-Code++, a new pre-trained language model optimized for abstractive text summarization. The model extends the state of the art encoder-decoder model using three techniques. First, we use a two-phase pre-training process to improve model's performance on low-resource summarization tasks. The model is first pre-trained using text corpora for language understanding, and then is continually pre-trained on summarization corpora for grounded text generation. Second, we replace self-attention layers in the encoder with disentangled attention layers, where each word is represented using two vectors that encode its content and position, respectively. Third, we use fusion-in-encoder, a simple yet effective method of encoding long sequences in a hierarchical manner. Z-Code++ creates new state of the art on 9 out of 13 text summarization tasks across 5 languages. Our model is parameter-efficient in that it outperforms the 600x larger PaLM-540B on XSum, and the finetuned 200x larger GPT3-175B on SAMSum. In zero-shot and few-shot settings, our model substantially outperforms the competing models.

研究动机与目标

• 开发一种参数高效、专为生成式文本摘要而优化的预训练语言模型。
• 通过结合语言理解与基于事实的文本生成的两阶段预训练策略，提升低资源摘要任务的性能。
• 利用编码器内融合（FiE）技术，增强长文本序列的建模能力，以支持文档摘要。
• 通过针对性的预训练，减少幻觉现象并提升生成摘要的事实一致性。
• 在保持高效性的同时实现最先进性能，超越参数量大得多的模型。

提出的方法

• 两阶段预训练：首先在通用网络文本上使用被替换标记检测（RTD）和被破坏的片段预测（CSP）进行预训练，然后在摘要语料库上进行基于事实的生成预训练。
• 解耦注意力（DA）通过分别建模内容嵌入和位置嵌入，替代标准自注意力机制，从而增强位置归纳偏置。
• 编码器内融合（FiE）通过在块内局部注意力和块表示间全局注意力，分层编码长输入序列。
• 模型使用 DeBERTaV2 词汇表，并在 160GB 英文文本和 mC4 多语言语料库上进行预训练。
• 对下游摘要任务进行微调，并通过零样本和少样本评估来衡量泛化能力。
• 在跨5种语言的13个摘要基准上评估该模型，包括 XSum、CNN/Daily Mail 和 SAMSum。

实验结果

研究问题

• RQ1 两阶段预训练策略是否能显著提升低资源生成式摘要任务的性能？
• RQ2 解耦注意力是否通过更好地建模位置依赖关系，提升事实一致性和摘要质量？
• RQ3 编码器内融合能否在不带来过高计算成本的前提下，有效处理长输入序列？
• RQ4 在零样本和少样本设置下，小型模型在多大程度上能超越 PaLM 540B 和 GPT-3 175B 等大模型？
• RQ5 基于事实的预训练在实现知识迁移至低资源摘要任务方面有多高效？

主要发现

• Z-Code++ 在跨5种语言的13项文本摘要任务中，有9项达到新的 SOTA 结果。
• 在 XSum 数据集上，Z-Code++ 在零样本和少样本设置下优于参数量大600倍的 PaLM 540B 模型。
• 在 SAMSum 上，Z-Code++ 超过了微调后的参数量大200倍的 GPT-3 175B 模型，在1000个样本下达到 ROUGE-2 得分为18.9。
• 在零样本和少样本设置下，Z-Code++ 在各项任务上的平均 ROUGE 分数分别比 PEGASUS LARGE 高5.7、1.5和3.3分。
• 基于事实的预训练显著提升了低资源任务的性能，Z-Code++ 仅用1000个样本就在 XSum 上达到16.0的 ROUGE-2 分数。
• 该模型展现出强大的泛化能力，其零样本性能在 CNNDM 和 SAMSum 上甚至超过微调后的性能，表明其对分布偏移具有鲁棒性。