[论文解读] Progressive Generation of Long Text with Pretrained Language Models

Bowen Tan, Zichao Yang+3 more|arXiv (Cornell University)|Jun 28, 2020

Topic Modeling参考文献 39被引用 4

一句话总结

本文提出 ProGen，一种渐进式文本生成方法，通过分阶段生成内容来提升长文本的连贯性：首先利用 TF-IDF 识别关键信息词，然后逐步使用微调后的 BART 模型对这些词进行细化。该方法在连贯性和样本效率方面显著优于微调后的 GPT-2 与规划-生成方法，在人类评估中实现了超过 86% 的句子级连贯性。

ABSTRACT

Large-scale language models (LMs) pretrained on massive corpora of text, such as GPT-2, are powerful open-domain text generators. However, as our systematic examination reveals, it is still challenging for such models to generate coherent long passages of text (e.g., 1000 tokens), especially when the models are fine-tuned to the target domain on a small corpus. Previous planning-then-generation methods also fall short of producing such long text in various domains. To overcome the limitations, we propose a simple but effective method of generating text in a progressive manner, inspired by generating images from low to high resolution. Our method first produces domain-specific content keywords and then progressively refines them into complete passages in multiple stages. The simple design allows our approach to take advantage of pretrained LMs at each stage and effectively adapt to any target domain given only a small set of examples. We conduct a comprehensive empirical study with a broad set of evaluation metrics, and show that our approach significantly improves upon the fine-tuned large LMs and various planning-then-generation methods in terms of quality and sample efficiency. Human evaluation also validates that our model generations are more coherent.

研究动机与目标

• 解决使用微调后的大型语言模型生成连贯长文本（如 1000+ 个 token）的挑战。
• 克服序列自回归生成方法在长段落中难以保持全局连贯性的问题。
• 通过在小众领域特定数据集上实现有效微调，提升样本效率。
• 开发一种灵活、模块化的框架，避免依赖专用架构或外部规划模型。
• 通过多阶段细化提升长文本生成的可控性与质量。

提出的方法

• 该方法分多个阶段渐进式地生成文本，从基于 TF-IDF 指标识别出的高信息量词语序列开始。
• 每一阶段使用微调后的 BART 模型，基于前一阶段的输出作为上下文锚点，生成更详细的版本。
• 渐进式细化过程使每一阶段能专注于更简单的子任务——将粗粒度计划映射为更高分辨率的文本，从而提升训练稳定性和连贯性。
• 中间阶段仅使用目标领域的少量语料进行训练，无需依赖摘要器或 SRL 模型等外部工具。
• 每个阶段保持从左到右的自回归生成方式，确保与标准预训练语言模型的兼容性。
• 阶段数量具有灵活性，可根据期望的输出质量与计算成本进行调整。

实验结果

研究问题

• RQ1 与单阶段微调语言模型相比，渐进式多阶段生成方法是否能提升长文本生成的连贯性？
• RQ2 在小众领域语料上微调时，使用 TF-IDF 选取的关键词进行渐进式细化是否能带来更好的样本效率？
• RQ3 中间计划的质量如何影响最终的文本生成质量？使用标准计划是否能显著提升性能？
• RQ4 训练过程中引入数据噪声在多大程度上能减少暴露偏差并提升生成质量？
• RQ5 能否在不依赖专用架构的前提下，利用标准自回归语言模型高效实现非单调生成策略？

主要发现

• ProGen 在人类评估中实现了超过 86% 的句子级连贯性，较基线模型至少提升了 10 个百分点。
• 仅使用 1,000 个训练样本，ProGen 的性能即达到在 30,000 个样本上微调的大语言模型水平，展现出卓越的样本效率。
• 在第一阶段使用标准计划可显著缩小与人类生成文本在 FBD-D（语义质量）和 TID（词汇质量）指标上的差距，凸显高质量中间计划的重要性。
• 训练过程中引入数据噪声在多个指标上均一致提升了性能，验证了其在缓解阶段间暴露偏差方面的有效性。
• ProGen 的渐进式设计在连贯性方面优于微调后的 GPT-2 与以往的规划-生成方法，该结论得到 BERT-NSP 分数与人类评估的双重验证。
• ProGen 的多阶段框架可灵活适配多种领域与语言，且无需专用架构或外部工具。