[论文解读] Progressive Generation of Long Text.

Bowen Tan, Zichao Yang+3 more|arXiv (Cornell University)|Jun 28, 2020

Topic Modeling参考文献 44被引用 24

一句话总结

本文提出一种渐进式、由粗到精的文本生成方法，首先生成领域特定的关键字，然后分阶段逐步将其细化为连贯的长文本。通过在每个阶段利用预训练语言模型，该方法显著提升了在低资源领域中长文本生成的质量和样本效率，相较于微调后的 GPT-2 表现更优。

ABSTRACT

Large-scale language models pretrained on massive corpora of text, such as GPT-2, are powerful open-domain text generators. However, as our systematic examination reveals, it is still challenging for such models to generate coherent long passages of text ($>$1000 tokens), especially when the models are fine-tuned to the target domain on a small corpus. To overcome the limitation, we propose a simple but effective method of generating text in a progressive manner, inspired by generating images from low to high resolution. Our method first produces domain-specific content keywords and then progressively refines them into complete passages in multiple stages. The simple design allows our approach to take advantage of pretrained language models at each stage and effectively adapt to any target domain given only a small set of examples. We conduct a comprehensive empirical study with a broad set of evaluation metrics, and show that our approach significantly improves upon the fine-tuned GPT-2 in terms of domain-specific quality and sample efficiency. The coarse-to-fine nature of progressive generation also allows for a higher degree of control over the generated content.

研究动机与目标

• 解决在小规模、领域特定数据集上微调大语言模型时生成连贯长文本（>1000 个 token）的挑战。
• 在仅提供少量样本用于微调的低资源设置下，提升样本效率。
• 通过结构化的多阶段生成过程，增强对生成内容的控制。
• 实现在无需大量微调的情况下，将预训练语言模型有效适配至新领域。

提出的方法

• 该方法分多个阶段生成文本，从输入提示或任务描述中提取领域特定的关键字作为起点。
• 在第一阶段，语言模型生成一组简洁且关键的、与目标领域和期望内容相关的关键词。
• 后续阶段通过自回归生成，逐步将这些关键词扩展并细化为更长、更连贯的短语和句子。
• 每个阶段均使用微调过的预训练语言模型（如 GPT-2）基于前一阶段的输出生成更详细的内容。
• 该过程模块化设计，允许仅使用少量标注样本在每个阶段实现领域特定的适配。
• 由粗到精的设计通过逐步构建内容，提升了长文本生成过程中的控制力与连贯性。

实验结果

研究问题

• RQ1 与直接微调大语言模型相比，渐进式、分阶段的生成方法是否能显著提升长文本生成的连贯性与质量？
• RQ2 在每个领域仅有少量标注样本的低资源设置下，所提出方法的性能如何？
• RQ3 由粗到精的设计在多大程度上提升了生成长文本的控制力与一致性？
• RQ4 该方法是否能在长文本（>1000 个 token）中保持或提升事实性与语义连贯性？

主要发现

• 渐进式生成方法在生成高质量、领域特定的长文本方面，显著优于微调后的 GPT-2。
• 该方法在显著减少训练样本数量的情况下仍能实现优异性能，展现出极高的样本效率。
• 由粗到精的结构通过分阶段优化，显著提升了长段落的连贯性与一致性。
• 该方法增强了对内容构成的控制力，因为每一阶段均以前一阶段的结果为基础，逐步增加细节。