[论文解读] SARD: A Human-AI Collaborative Story Generation

Ahmed Y. Radwan, Khaled M. Alasmari+2 more|arXiv (Cornell University)|Mar 3, 2024

Artificial Intelligence in Games被引用 4

一句话总结

SARD 是一种拖放式可视化界面，支持使用大型语言模型（LLMs）进行人机协同故事创作，允许用户通过基于节点的叙事结构构建多章节故事。尽管有助于心智建模，该界面仍带来认知负担，且无论故事情节复杂度如何，LLMs 生成的故事始终表现出较低的词汇多样性。

ABSTRACT

Generative artificial intelligence (GenAI) has ushered in a new era for storytellers, providing a powerful tool to ignite creativity and explore uncharted narrative territories. As technology continues to advance, the synergy between human creativity and AI-generated content holds the potential to redefine the landscape of storytelling. In this work, we propose SARD, a drag-and-drop visual interface for generating a multi-chapter story using large language models. Our evaluation of the usability of SARD and its creativity support shows that while node-based visualization of the narrative may help writers build a mental model, it exerts unnecessary mental overhead to the writer and becomes a source of distraction as the story becomes more elaborated. We also found that AI generates stories that are less lexically diverse, irrespective of the complexity of the story. We identified some patterns and limitations of our tool that can guide the development of future human-AI co-writing tools.

研究动机与目标

• 设计并评估一种支持多章节叙事创作的人机协同故事生成系统。
• 探究可视化、基于节点的界面在故事创作过程中对用户认知负荷和创意工作流的影响。
• 评估在协同创作环境中 AI 生成故事的质量、连贯性及词汇多样性。
• 了解用户在 AI 辅助叙事创作中对控制感、自主性及所有权的感知。
• 揭示当前 LLM 在叙事生成方面的局限性，特别是创造力与用户意图对齐方面的问题。

提出的方法

• SARD 采用拖放式可视化界面，用户通过创建代表人物、事件和情节节点的元素来构建故事。
• 大型语言模型（LLMs）根据用户定义的故事结构和节点间关系生成章节内容。
• 系统支持迭代式故事开发，允许用户重新排列节点并再生内容。
• 通过词元类型比率（TTR）衡量词汇多样性，以定量评估生成故事中的词汇变化。
• 用户研究包括定性访谈和可用性问卷，以评估用户感知到的创造力、控制感及认知负荷。
• 参与者使用 SARD 生成三幕剧式故事，其故事板和最终叙事被分析以评估连贯性与多样性。

Figure 1: SARD: Novel generation through interactive storyboard. The user starts with (1) where the user sets the story structure and genre. (2) is where the user can create and add elements, either character, action, or relationship, to their storyboard. (2) can also be used to navigate through dif

实验结果

研究问题

• RQ1 基于节点的可视化故事创作界面在多大程度上影响用户的认知负荷和心智模型维护？
• RQ2 LLM 生成的内容在不同复杂度的故事中，其词汇多样性在多大程度上得以保持？
• RQ3 在结构化界面中与 AI 共同创作时，用户如何感知自身的自主性与控制感？
• RQ4 用户在依赖 LLM 进行叙事生成时遇到的主要限制是什么？
• RQ5 该界面在多大程度上影响了最终故事输出的感知质量与创造力？

主要发现

• 所有参与者生成故事的平均词元类型比率（TTR）为 M = 0.47（SD = 0.09），表明词汇多样性在所有参与者中均保持较低水平。
• 所有参与者均对 SARD 表现出积极态度，指出其帮助他们拓展了词汇量，并使故事复杂度超越了最初的构思。
• 尽管有助于心智建模，基于节点的界面仍引入了不必要的认知负担，尤其在故事因新增角色和事件而变得更加复杂时更为明显。
• 当 AI 输出与用户预想的叙事流程不一致时，即使重新排列节点或调整提示词，参与者仍感到沮丧。
• 部分用户依赖外部工具（如 ChatGPT）进行初步头脑风暴，表明 SARD 在创意生成支持方面存在局限。
• 系统未显示章节摘要，参与者认为这将有助于在长期故事开发过程中保持方向感。

Figure 2: Results from Study 1: (a) SUS Scores, (b) MICSI Sub-Scale Scores, (c) Exploratory Question Responses.