[论文解读] TVRecap: A Dataset for Generating Stories with Character Descriptions.

Mingda Chen, Kevin Gimpel|arXiv (Cornell University)|Sep 18, 2021

Topic Modeling参考文献 35被引用 4

一句话总结

TVRecap 是一个大规模数据集，包含 26,000 个由粉丝网站整理的、专业撰写的电视剧集回顾，其任务是从简要摘要和详尽的角色文档中生成细节丰富、角色鲜明的故事。采用带有虚拟内容选择器的层次化神经模型在自动评估指标上表现最佳，证明了该数据集在约束性故事生成与抽象摘要研究方面的价值。

ABSTRACT

We introduce TVRecap, a story generation dataset that requires generating detailed TV show episode recaps from a brief summary and a set of documents describing the characters involved. Unlike other story generation datasets, TVRecap contains stories that are authored by professional screenwriters and that feature complex interactions among multiple characters. Generating stories in TVRecap requires drawing relevant information from the lengthy provided documents about characters based on the brief summary. In addition, by swapping the input and output, TVRecap can serve as a challenging testbed for abstractive summarization. We create TVRecap from fan-contributed websites, which allows us to collect 26k episode recaps with 1868.7 tokens on average. Empirically, we take a hierarchical story generation approach and find that the neural model that uses oracle content selectors for character descriptions demonstrates the best performance on automatic metrics, showing the potential of our dataset to inspire future research on story generation with constraints. Qualitative analysis shows that the best-performing model sometimes generates content that is unfaithful to the short summaries, suggesting promising directions for future work.

研究动机与目标

• 创建一个大规模、由专业人士撰写的、包含复杂角色互动与详细描述的故事生成数据集。
• 通过利用详尽的角色文档和简要摘要，应对生成连贯且上下文准确故事的挑战。
• 通过在故事生成任务中反转输入与输出的角色，为抽象摘要提供基准测试。
• 激发研究神经模型，使其能够有效从长篇角色描述中选择并整合相关信息。
• 评估生成故事与原始摘要及角色细节之间的一致性与质量。

提出的方法

• 从粉丝贡献的网站构建 TVRecap，收集了 26,000 个电视剧集回顾，平均每篇 1,868.7 个词符。
• 设计了一种层次化的故事生成框架，通过处理摘要和角色文档来生成详细回顾。
• 实现了虚拟内容选择器机制，以识别并整合来自角色文档的最相关信息。
• 使用自动评估指标对模型进行评估，比较不同内容选择策略下的性能表现。
• 通过将回顾作为输入、摘要作为输出，将数据集重新用于抽象摘要任务。
• 进行了定性分析，以评估生成内容与输入摘要之间事实一致性的程度。

实验结果

研究问题

• RQ1 神经模型能否仅依靠简要摘要和详尽的角色描述，有效生成细节丰富且连贯的电视剧集回顾？
• RQ2 与基线方法相比，使用虚拟内容选择器在多大程度上提升了故事生成的性能？
• RQ3 尽管存在复杂角色互动，生成的故事在多大程度上仍忠实于原始简要摘要？
• RQ4 TVRecap 能否作为抽象摘要任务的可行基准？
• RQ5 当模型偏离输入摘要时，故事生成中的主要失败模式是什么？

主要发现

• 采用虚拟内容选择器的层次化神经模型在自动评估指标上表现最佳。
• 该数据集包含 26,000 个专业撰写的电视剧集回顾，平均每篇 1,868.7 个词符。
• 表现最佳的模型偶尔会生成与输入摘要不一致的内容，表明在忠实度方面仍有改进空间。
• 当输入与输出角色反转时，TVRecap 可作为抽象摘要任务的有效且具有挑战性的基准。
• 定性分析显示，模型输出有时会引入事实性错误或偏离原始摘要。
• 结果表明，有效整合长篇角色描述仍是故事生成中的关键挑战。