[论文解读] NGEP: A Graph-based Event Planning Framework for Story Generation

Chen Tang, Zhihao Zhang+3 more|arXiv (Cornell University)|Oct 19, 2022

Topic Modeling被引用 6

一句话总结

该论文提出NGEP，一种基于图的事件规划框架，利用事件图进行结构化推理，并采用基于BART的神经顾问以增强故事生成中的可控性并减少幻觉。通过结合基于图的推理与神经引导，NGEP在事件序列质量和下游故事生成方面均优于当前最先进方法，实现了更高的连贯性与更低的重复率。

ABSTRACT

To improve the performance of long text generation, recent studies have leveraged automatically planned event structures (i.e. storylines) to guide story generation. Such prior works mostly employ end-to-end neural generation models to predict event sequences for a story. However, such generation models struggle to guarantee the narrative coherence of separate events due to the hallucination problem, and additionally the generated event sequences are often hard to control due to the end-to-end nature of the models. To address these challenges, we propose NGEP, an novel event planning framework which generates an event sequence by performing inference on an automatically constructed event graph and enhances generalisation ability through a neural event advisor. We conduct a range of experiments on multiple criteria, and the results demonstrate that our graph-based neural framework outperforms the state-of-the-art (SOTA) event planning approaches, considering both the performance of event sequence generation and the effectiveness on the downstream task of story generation.

研究动机与目标

• 为解决端到端神经事件规划模型的局限性，这些模型在长篇故事生成中存在可控性差和幻觉问题。
• 通过利用训练数据中的结构化事件关系，提升生成故事的连贯性与多样性。
• 通过用图推理替代纯神经生成，并辅以神经顾问，提升事件规划的可解释性与泛化能力。
• 通过基于知识的事件选择（使用事件图）减少重复并提升事件序列的逻辑一致性。
• 证明混合图-神经规划显著优于当前最先进纯神经方法的下游故事生成性能。

提出的方法

• 通过spaCy依存句法分析从训练数据中提取动词短语事件及其有向关系（如前驱/后继事件），构建事件图G。
• 利用节点度数与并发得分建模事件候选的条件概率，以在事件图中优先选择语义连贯的转换。
• 采用基于BART的神经顾问，在无有效图转换时预测下一个事件，确保对罕见或未见事件模式的覆盖。
• 将事件图与神经顾问整合到两阶段推理流程中：先进行基于图的候选选择，再在词汇表外或罕见事件时启用神经顾问作为回退。
• 在训练与推理过程中使用特殊标记格式（如¡s¿, ¡sep¿, ¡e¿）表示事件与序列。
• 训练神经顾问以基于输入上下文与先前预测事件来预测单个事件，从而提升对完整序列生成的可控性。

实验结果

研究问题

• RQ1 与端到端神经模型相比，基于图的推理机制是否能提升故事生成中事件序列的逻辑连贯性与多样性？
• RQ2 当事件图无法提供有效转换时，神经顾问的集成在多大程度上增强了事件规划的泛化能力与可控性？
• RQ3 与当前最先进神经事件规划方法相比，NGEP在多大程度上减少了生成故事中的幻觉与重复？
• RQ4 通过事件图实现的知识接地是否能带来比纯神经方法更可解释、更真实的事件预测？
• RQ5 NGEP在多个故事生成基准上的表现如何，特别是在事件序列质量与故事连贯性方面？

主要发现

• NGEP在事件序列生成的ROUGE与BLEU指标上显著优于所有SOTA基线，表明其与人工编写的事件计划更相似。
• 该模型实现了更低的句内重复率与更稳定的重复聚合得分（IR-A），表明生成故事的多样性更高且冗余更少。
• 神经顾问组件提升了对罕见或未见事件的鲁棒性，表现为NGEP的变体EventAdvisor在部分指标上优于NGEP，因其对图外事件的处理更优。
• 案例研究证实，NGEP的预测基于训练数据中的模式——例如，在‘had test’之后高概率预测‘people studied hard to prepare for this test’——表明其基于知识的推理而非幻觉。
• 基于图的推理机制使事件规划更具可解释性，因为模型的决策可通过节点度数与转换概率进行追溯。
• NGEP在下游故事生成任务中达到最先进性能，证实更优的事件规划可带来更高质量、更连贯的故事。