[论文解读] Pretrained Language Models for Text Generation: A Survey

Junyi Li, Tianyi Tang+3 more|arXiv (Cornell University)|Jan 14, 2022

Topic Modeling被引用 66

一句话总结

对预训练语言模型（PLMs）在文本生成中的应用的综合综述，详细介绍输入编码、模型设计、优化、挑战、资源和未来方向。

ABSTRACT

Text Generation aims to produce plausible and readable text in a human language from input data. The resurgence of deep learning has greatly advanced this field, in particular, with the help of neural generation models based on pre-trained language models (PLMs). Text generation based on PLMs is viewed as a promising approach in both academia and industry. In this paper, we provide a survey on the utilization of PLMs in text generation. We begin with introducing three key aspects of applying PLMs to text generation: 1) how to encode the input into representations preserving input semantics which can be fused into PLMs; 2) how to design an effective PLM to serve as the generation model; and 3) how to effectively optimize PLMs given the reference text and to ensure that the generated texts satisfy special text properties. Then, we show the major challenges arisen in these aspects, as well as possible solutions for them. We also include a summary of various useful resources and typical text generation applications based on PLMs. Finally, we highlight the future research directions which will further improve these PLMs for text generation. This comprehensive survey is intended to help researchers interested in text generation problems to learn the core concepts, the main techniques and the latest developments in this area based on PLMs.

研究动机与目标

• 介绍基于 PLM 的文本生成的任务表述，以及输入数据、模型设计和优化的作用。
• 综述用于非结构化、结构化和多媒体数据的输入表示策略。
• 回顾 PLM 架构（掩码语言模型、因果语言模型、前缀语言模型、编码-解码语言模型）以及用于生成任务的设计调整。
• 讨论优化技术以及如何在生成文本中确保保真度、相关性和连贯性等属性。
• 突出基于 PLM 的文本生成中的挑战、资源、应用以及未来方向。

提出的方法

• 将文本生成框架为一个输入到输出的映射 f_M(x, P)，使用 PLMs。
• 将输入数据分为非结构化、结构化和多媒体，并评审编码方法。
• 按预训练目标对 PLMs 进行分类：掩码语言模型、因果语言模型、前缀语言模型、编码-解码语言模型，并讨论架构扩展。
• 回顾优化策略，包括微调、多任务学习，以及基于提示/适配器的方法。
• 讨论跨语言和多语言生成的表示，以及在生成过程中保持结构化数据信息的方法。
• 总结基于 PLM 的文本生成的资源、应用和未来研究方向。

实验结果

研究问题

• RQ1 哪些输入表示和编码策略最能在基于 PLM 的生成中保留输入语义？
• RQ2 应如何设计或改编 PLMs，使其在各任务中都能成为有效的生成函数？
• RQ3 哪些优化技术能够可靠地产生流畅、真实且与任务对齐的文本？
• RQ4 主要挑战有哪些（如保真度、效率、多语言性），以及如何缓解？
• RQ5 哪些资源、数据集和应用实例能展示基于 PLM 的文本生成在实践中的应用？

主要发现

• 在大型语料库上进行预训练的 PLMs 能在各任务中实现流畅且具上下文感知的文本生成。
• 分层和基于图的表示有助于捕捉段落和文档中长程及跨句的语义。
• 结构化数据需要通过线性化、表示对齐和专用编码模块来弥合语义差距。
• 通过定制目标、拷贝机制和输入感知提示，可以提升对输入结构的保真性和忠实性。
• 多语言和跨语言 PLMs 使得在不同语言之间实现生成，具有共享表示和语言特定的适应。
• 存在广泛的资源和应用领域，以及正在发展的优化策略，如微调变体和基于提示的方法。