[论文解读] Personalizing Dialogue Agents: I have a dog, do you have pets too?

Saizheng Zhang, Emily Dinan+4 more|arXiv (Cornell University)|Jan 22, 2018

Topic Modeling参考文献 25被引用 196

一句话总结

本研究提出了以角色信息为条件的闲聊以及一个大型的 persona-chat 数据集。结果表明，具备记忆增强与基于检索的模型在下一轮话语预测方面受益于显式的角色信息条件，且人工评估倾向于使用具丰富角色信息的数据，相较于 OpenSubtitles/Twitter 基线。

ABSTRACT

Chit-chat models are known to have several problems: they lack specificity, do not display a consistent personality and are often not very captivating. In this work we present the task of making chit-chat more engaging by conditioning on profile information. We collect data and train models to (i) condition on their given profile information; and (ii) information about the person they are talking to, resulting in improved dialogues, as measured by next utterance prediction. Since (ii) is initially unknown our model is trained to engage its partner with personal topics, and we show the resulting dialogue can be used to predict profile information about the interlocutors.

研究动机与目标

• 提出一个通过对可配置的个人资料（persona）进行条件化来个性化闲聊的任务。
• 创建并发布包含原始与修订后角色的 persona-chat 数据集。
• 评估生成模型与排序模型在是否包含角色信息的情况下的下一轮话语预测。
• 证明角色信息条件化能提升下一轮话语预测，并使对话中的合作者画像成为可能。

提出的方法

• 提出四种建模范式：Seq2Seq、Profile Memory Network、Key-Value Profile Memory Network，以及标准排序基线（IR、StarSpace）
• 对代理自身的 persona、对方的 persona，或两者均进行条件化输入；在三种 persona 设置（No Persona、Original Persona、Revised Persona）下评估。
• 使用困惑度（ppl）、hits@1 和近似 F1 的下一轮话语分类损失作为评估指标。
• 构建一个大型众包数据集（persona-chat），包含 162,064 轮 utterances，覆盖 10,907 组对话，每位参与者给定一个 persona。
• 使用记忆增强的架构，对 persona 句子进行注意力并在必要时对话历史的键/值进行注意，以影响回应的选择。
• 提供开源代码和 ParlAI 集成，便于复现。

实验结果

研究问题

• RQ1 将显式的 persona 信息作为条件是否能提升下一轮话语预测，相较于无 persona 的基线？
• RQ2 对方 persona 的条件化如何影响对话质量以及预测或恢复个人资料信息的能力？
• RQ3 修订后的 personas（移除词汇重叠）是否带来更大学习难度，记忆-注意模型是否仍能有效利用它们？
• RQ4 在以 persona 信息为条件时，生成模型与排序模型在流畅性、参与度和一致性方面的比较如何？

主要发现

方法	无 Persona PPL	无 Persona Hits@1	原始 Persona PPL	原始 Persona Hits@1	修订 Persona PPL	修订 Persona Hits@1
Seq2Seq	38.08	0.092	40.53	0.084	40.65	0.082
Profile Memory (Generative)	38.08	0.092	34.54	0.125	38.21	0.108
IR baseline	-	0.214	-	0.410	-	0.207
StarSpace (Ranking)	-	0.318	-	0.491	-	0.322
Profile Memory (Ranking)	-	0.318	-	0.509	-	0.354
KV Profile Memory (Ranking)	-	0.349	-	0.511	-	0.351

• 对 persona 信息的条件化提升了生成模型与排序模型的下一轮话语预测。
• 对 persona 记忆进行记忆增强的注意力比简单拼接基线表现更好，在某些设置中 KV-profile 记忆提供最强的增益。
• 在下一轮话语选择任务上，排序模型的表现优于生成模型（以 hits@1 为衡量）。
• 原始（非修订）persona 因词汇重叠而带来更大增益；使用基于记忆的模型时，修订后的 persona 仍有收益。
• 人类评估表明，在 persona-chat 数据上训练的模型比在 OpenSubtitles 或 Twitter 数据上训练的模型生产的对话更具吸引力和一致性。
• 人工评估者有时能检测到 persona 条件，但流畅性与一致性仍与无 persona 基线具有竞争力。