[论文解读] Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events

Le Fang, Tao Zeng+4 more|arXiv (Cornell University)|Jan 4, 2021

Topic Modeling参考文献 32被引用 5

一句话总结

本文提出了“大纲到故事”（O2S）任务，即从一系列级联事件（作为细粒度控制信号）生成多段落故事。作者提出FIST方法——一种使用特殊标记分隔事件和段落的简单微调方法，无需架构修改即可实现最先进条件生成性能，从而在长文本生成中实现强大的可控性与灵活性。

ABSTRACT

Large-scale pretrained language models have shown thrilling generation capabilities, especially when they generate consistent long text in thousands of words with ease. However, users of these models can only control the prefix of sentences or certain global aspects of generated text. It is challenging to simultaneously achieve fine-grained controllability and preserve the state-of-the-art unconditional text generation capability. In this paper, we first propose a new task named "Outline to Story" (O2S) as a test bed for fine-grained controllable generation of long text, which generates a multi-paragraph story from cascaded events, i.e. a sequence of outline events that guide subsequent paragraph generation. We then create dedicate datasets for future benchmarks, built by state-of-the-art keyword extraction techniques. Finally, we propose an extremely simple yet strong baseline method for the O2S task, which fine tunes pre-trained language models on augmented sequences of outline-story pairs with simple language modeling objective. Our method does not introduce any new parameters or perform any architecture modification, except several special tokens as delimiters to build augmented sequences. Extensive experiments on various datasets demonstrate state-of-the-art conditional story generation performance with our model, achieving better fine-grained controllability and user flexibility. Our paper is among the first ones by our knowledge to propose a model and to create datasets for the task of "outline to story". Our work also instantiates research interest of fine-grained controllable generation of open-domain long text, where controlling inputs are represented by short text.

研究动机与目标

• 为解决用户需在段落级别而非仅通过全局提示或前缀控制内容的细粒度、可控长文本生成挑战。
• 创建一项新基准任务——大纲到故事（O2S），实现从级联事件生成受控的多段落故事。
• 开发一种简单而有效的基线方法，在保留预训练模型强大无条件生成能力的同时，实现细粒度控制。
• 使用自动化关键词提取技术生成高质量、大规模的O2S数据集，将事件与段落配对。

提出的方法

• 提出新任务O2S，即从一系列事件生成故事，每个事件控制一个段落。
• 通过应用最先进的关键词提取技术，从段落中提取关键词短语，构建事件-故事配对数据集。
• 设计一种名为FIST（使用特殊标记进行微调）的简单方法，利用特殊标记——startofcond、sepofcond、endofcond——将事件与段落交错整合为增强序列。
• 在这些增强序列上使用标准语言建模范式对预训练语言模型进行微调，使模型学会事件到段落的条件生成。
• 在推理过程中使用特殊标记作为控制信号，允许用户基于部分或完整大纲生成受控故事。
• 通过允许用户仅提供部分事件，支持灵活生成，实现动态与自适应的故事生成。

实验结果

研究问题

• RQ1 仅使用特殊标记的简单微调方法是否能在不修改模型架构的前提下，实现细粒度、可控长文本生成的优异性能？
• RQ2 FIST方法在保留预训练模型无条件生成质量的同时，实现段落级别控制的有效性如何？
• RQ3 模型在不完整或部分大纲下的泛化能力如何，能否支持灵活的用户控制？
• RQ4 从段落中自动提取的事件大纲能否作为昂贵的人工标注大纲的可行且可扩展的替代方案？

主要发现

• FIST方法在O2S任务上达到最先进性能，在自动评估与人工评估指标上均优于现有方法。
• 模型展现出强大的细粒度可控性，生成的故事与大纲中每个事件的语义内容高度一致。
• 即使在不完整大纲下，模型仍保持连贯性与相关性，展现出高度的用户灵活性与适应性。
• 特殊标记的使用实现了有效条件生成，且无需引入新参数或修改模型架构。
• 使用关键词提取技术构建的自动数据集可生成高质量训练数据，支持有效微调与稳健泛化。
• 模型可生成长达数千字的长篇、连贯故事，全程保持一致性与主题相关性。