[论文解读] Plan-And-Write: Towards Better Automatic Storytelling

Lili Yao, Nanyun Peng+4 more|arXiv (Cornell University)|Nov 14, 2018

Artificial Intelligence in Games参考文献 34被引用 46

一句话总结

本文提出一个从标题进行开放域故事生成的计划与写作框架，使用动态与静态情节规划策略以提升多样性、连贯性及主题相关性。

ABSTRACT

Automatic storytelling is challenging since it requires generating long, coherent natural language to describes a sensible sequence of events. Despite considerable efforts on automatic story generation in the past, prior work either is restricted in plot planning, or can only generate stories in a narrow domain. In this paper, we explore open-domain story generation that writes stories given a title (topic) as input. We propose a plan-and-write hierarchical generation framework that first plans a storyline, and then generates a story based on the storyline. We compare two planning strategies. The dynamic schema interweaves story planning and its surface realization in text, while the static schema plans out the entire storyline before generating stories. Experiments show that with explicit storyline planning, the generated stories are more diverse, coherent, and on topic than those generated without creating a full plan, according to both automatic and human evaluations.

研究动机与目标

• 自动讲故事作为人工智能的测试平台，旨在从一个标题生成长篇、连贯的故事。
• 提出一个两步框架：情节规划与表面实现以提升质量。
• 探索两种规划策略（动态与静态）并进行比较。
• 利用自动提取的情节来训练规划器，无需额外的人类标注。
• 通过自动与人工评估来评估多样性、连贯性与主题相关性。

提出的方法

• 将情节表示为从故事中提取的有序词序列，以训练情节规划模型。
• 实现两种 plan-and-write 方案：动态（增量规划与写作）与静态（先完整规划情节）。
• 使用带上下文编码器（BiGRU）和基于注意力的解码器进行内容引入生成，以实现情节与故事生成。
• 对静态方案，使用带注意力的 Seq2Seq 根据标题生成情节，再在标题与规划情节条件下生成故事。
• 在生成过程中通过禁止重复的情节词来抑制重复，从而降低冗余。
• 使用自动多样性指标（跨故事与内部重复）和人工评估进行评估。

实验结果

研究问题

• RQ1 与不进行规划的基线相比，显式情节规划是否提高生成故事的多样性、连贯性与主题相关性？
• RQ2 在动态与静态规划之间，哪种更能产生连贯且与主题相关的故事？
• RQ3 自动化的多样性指标与人类评估在计划与写作讲述中的相关性如何？

主要发现

• Plan-and-write 方法比没有规划的基线产生的故事更具多样性和连贯性。
• 静态方案在保真度、连贯性、有趣性和整体偏好方面通常优于动态方案。
• 动态方案降低了跨故事的重复性，但相对于基线可能增加了最终句的重复。
• 静态方案显示情节质量（BLEU）与故事质量（l–s 分数）之间的相关性更高。
• 人工评估者在保真度、连贯性和有趣性方面偏好 plan-and-write 的故事，且连贯性与有趣性在偏好中具有特别显著的影响力。