[论文解读] Shaping the Narrative Arc: An Information-Theoretic Approach to Collaborative Dialogue

Kory W. Mathewson, Pablo Samuel Castro+3 more|arXiv (Cornell University)|Jan 31, 2019

Topic Modeling参考文献 51被引用 14

一句话总结

本文提出了一种信息论框架，通过宇宙模型调节信息揭示，塑造协作对话中的叙事弧，提升参与度与可预测性。通过平衡信息的揭示与隐藏，该方法增强了对话质量，实验结果表明其在下一话语预测准确率和专家偏好方面均有提升，用户研究亦证实了这一点。

ABSTRACT

We consider the problem of designing an artificial agent capable of interacting with humans in collaborative dialogue to produce creative, engaging narratives. In this task, the goal is to establish universe details, and to collaborate on an interesting story in that universe, through a series of natural dialogue exchanges. Our model can augment any probabilistic conversational agent by allowing it to reason about universe information established and what potential next utterances might reveal. Ideally, with each utterance, agents would reveal just enough information to add specificity and reduce ambiguity without limiting the conversation. We empirically show that our model allows control over the rate at which the agent reveals information and that doing so significantly improves accuracy in predicting the next line of dialogues from movies. We close with a case-study with four professional theatre performers, who preferred interactions with our model-augmented agent over an unaugmented agent.

研究动机与目标

• 设计一种能够通过与人类协作对话生成引人入胜、富有创意的叙事的人工智能代理。
• 解决开放域对话系统中维持叙事一致性和吸引力的挑战。
• 将叙事弧的概念形式化为对话中信息揭示的动态演化过程。
• 实现对信息披露速率的控制，以平衡具体性与模糊性。
• 通过实证评估和专家用户研究验证该方法的有效性。

提出的方法

• 该方法将对话模型与一个宇宙模型结合，用于追踪对话世界中的共享知识。
• 宇宙模型根据话语的信息含量对话语进行分类，区分揭示性（增加新细节）与隐藏性（保留模糊性）话语。
• 叙事弧被形式化为随时间演化的信息揭示概率分布，灵感源自香农熵与冯内古特的叙事形态。
• 系统使用评分函数对对话候选进行采样与评分，以平衡信息揭示与连贯性。
• 该方法与底层对话模型无关，可与检索式或生成式模型集成。
• 该方法使用概率分类器追踪不断演化的叙事元素，如类型、主题或表情符号，从而实现动态叙事塑造。

实验结果

研究问题

• RQ1 在对话中控制信息揭示速率是否能提升叙事参与度与连贯性？
• RQ2 调节信息揭示如何影响电影剧本中下一话语预测的准确性？
• RQ3 通过信息论形式化叙事弧是否能提升协作对话的质量？
• RQ4 人类参与者是否更偏好与具备叙事弧塑造能力的代理互动，而非基线代理？
• RQ5 宇宙模型在多大程度上能提升对话生成的精确性与一致性？

主要发现

• 通过控制信息揭示速率，该方法在电影剧本数据集上显著提升了下一话语预测的准确率。
• 四名专业剧团演员参与的用户研究显示，参与者对由叙事弧增强的代理生成的对话表现出强烈偏好。
• 叙事弧框架成功平衡了具体性与模糊性，避免了过度具体化与过度模糊。
• 该方法在不同类型宇宙模型（如主题、类型、表情符号模型）上均表现有效。
• 该方法与多种对话模型兼容，证明了其通用性与模块化特性。
• 实证结果证实，调节揭示度参数可实现对叙事节奏与参与度的细粒度控制。