[论文解读] You Impress Me: Dialogue Generation via Mutual Persona Perception

Qian Liu, Yihong Chen+5 more|arXiv (Cornell University)|Apr 11, 2020

Topic Modeling参考文献 32被引用 20

一句话总结

本文提出 $π^{2}$~{}\textsc{Bot}，一种对话生成框架，通过发射-接收架构显式建模对话双方之间的相互人格感知。通过在自对弈微调中引入相互人格感知作为奖励信号，该模型在Persona-Chat数据集上实现了最先进性能，显著优于基线模型，在自动指标和人工评估中均表现更优。

ABSTRACT

Despite the continuing efforts to improve the engagingness and consistency of chit-chat dialogue systems, the majority of current work simply focus on mimicking human-like responses, leaving understudied the aspects of modeling understanding between interlocutors. The research in cognitive science, instead, suggests that understanding is an essential signal for a high-quality chit-chat conversation. Motivated by this, we propose P^2 Bot, a transmitter-receiver based framework with the aim of explicitly modeling understanding. Specifically, P^2 Bot incorporates mutual persona perception to enhance the quality of personalized dialogue generation. Experiments on a large public dataset, Persona-Chat, demonstrate the effectiveness of our approach, with a considerable boost over the state-of-the-art baselines across both automatic metrics and human evaluations.

研究动机与目标

• 为解决个性化闲聊对话系统中缺乏对相互理解的显式建模问题。
• 通过显式建模对话双方之间的相互人格感知，提升对话的吸引力与一致性。
• 开发一种通过人格信息交换衍生的理解信号来增强个性化对话生成的框架。
• 验证相互人格感知作为自对弈训练中奖励信号的有效性。
• 在Persona-Chat数据集上，通过自动指标与人工评估证明本方法优于现有基线模型。

提出的方法

• 该框架采用发射-接收架构：发射端生成回复，接收端评估相互人格感知。
• 相互人格感知被建模为一种信号，用以衡量每位对话者对对方人格的印象与对方实际人格的匹配程度。
• 接收端使用监督学习目标，基于排序损失从对话历史中预测相关人格语句。
• 通过基于相互人格感知的奖励信号应用自对弈微调，以优化回复生成。
• 发射端采用强化学习端到端训练，以相互人格感知得分为奖励。
• 构建了一个合成数据集，每段对话包含31个人格干扰项，用于评估接收端对改写或隐含人格信息的感知能力。

实验结果

研究问题

• RQ1 相互人格感知能否作为有效信号以提升个性化对话生成？
• RQ2 接收模型在人格信息被改写或隐含时，能否有效从对话历史中识别出相关人格语句？
• RQ3 将相互人格感知作为奖励信号是否能生成比基线方法更具吸引力和一致性的回复？
• RQ4 该框架能否泛化至检测对话中隐含或同义表达的人格引用？
• RQ5 所提方法在自动指标与人工评估中与最先进模型相比表现如何？

主要发现

• 在原始模式下，所提的 $π^{2}$~{}\textsc{Bot} 框架在合成人格感知数据集上相较检索基线（IR baseline）的 Hits@1 提升了26.3个百分点。
• 接收模型对改写人格信息表现出强鲁棒性，在修订模式下仍保持高性能，表明其能有效理解隐含或同义表达的人格引用。
• 人工评估显示，$π^{2}$~{}\textsc{Bot} 生成的回复显著比最先进基线更具吸引力与一致性。
• 自动指标如 BLEU、BLEU-4 以及 distinct-1/2 均一致优于强基线模型，证实了回复质量与多样性更优。
• 相关性得分的可视化结果表明，接收端能正确识别对话话语与相关个人资料语句之间的关联，例如将 '我在当地游泳池做志愿者' 与 '我热爱在水中活动' 关联起来。
• 采用相互人格感知奖励的自对弈微调显著提升了多种评估设置下的回复质量与人格一致性。