[论文解读] Wordcraft: a Human-AI Collaborative Editor for Story Writing

Andy Coenen, Luke M. Davis+3 more|arXiv (Cornell University)|Jul 15, 2021

Topic Modeling参考文献 11被引用 34

一句话总结

Wordcraft 提供了一个与对话式 AI 助手（Meena）集成的文本编辑器，通过 few-shot 提示帮助作者进行续写、填充、阐述和改写，并探索讲故事中的人机协作。

ABSTRACT

As neural language models grow in effectiveness, they are increasingly being applied in real-world settings. However these applications tend to be limited in the modes of interaction they support. In this extended abstract, we propose Wordcraft, an AI-assisted editor for story writing in which a writer and a dialog system collaborate to write a story. Our novel interface uses few-shot learning and the natural affordances of conversation to support a variety of interactions. Our editor provides a sandbox for writers to probe the boundaries of transformer-based language models and paves the way for future human-in-the-loop training pipelines and novel evaluation methods.

研究动机与目标

• 促进在创造性写作和人环路编辑中使用语言模型。
• 提供一个支持规划、写作和编辑并由 AI 助力的编辑界面。
• 展示 few-shot 学习和对话模型作为一个统一的、交互式的讲故事工具。
• 研究 AI 辅助写作的用户互动模式以及潜在的未来训练/评估流程。

提出的方法

• 开发一个基于网页的文本编辑器，左侧是写作区域，右侧是 AI 操作面板。
• 使用单一语言模型（Meena）结合 few-shot 提示来执行多种任务。
• 将用户输入包装在分阶段的对话上下文中，以实现对话式续写。
• 通过对话界面支持续写、填充、阐述和改写等任务。
• 在定性研究中将对话式 Meena 与通用语言模型（GPLM）进行比较。
• 展示针对不同编辑动作的任务特定提示构造。

实验结果

研究问题

• RQ1 相比标准文本续写模型，基于对话的 AI 伙伴是否能更好地支持创造性写作任务？
• RQ2 作者在规划、写作和编辑阶段如何与多任务 AI 编辑器互动？
• RQ3 哪些提示设计（few-shot 上下文）能提升叙事性 AI 输出的质量和可解释性？
• RQ4 通过聊天界面使用单一语言模型执行多样化写作任务的优点与局限性是什么？

主要发现

• 在某些情况下，对话模型结合 few-shot 提示能够产生比 GPLMs 更具可解释性和任务对齐性的输出。
• 当输入被构造成以故事为导向的对话时，Meena 能生成有用的续写。
• 填充和阐述提示受益于面向任务的 few-shot 提示，以减少元文本并提高相关性。
• 改写可以根据提示框架灵活调整语气（描述性、幽默等）。
• 输出质量参差不齐，可能包含荒诞或偏见的结果，强调需小心处理与评估。
• 微调模型在更困难的任务（如填充）上可能胜过 few-shot 方法，表明模型规模与任务性能之间的权衡。