[论文解读] Persona Authentication through Generative Dialogue

Fengyi Tang, Lifan Zeng+2 more|arXiv (Cornell University)|Oct 25, 2021

Persona Design and Applications参考文献 4被引用 5

一句话总结

本文提出了一种用于对话智能体人格认证的新型框架，通过训练一种自适应生成个性化问题的问答策略，以最大化对话历史与潜在人格特征之间的互信息。该方法使用学习到的认证损失来提升人格识别效果，在未见测试人格上的未见人格配置下，实现了83.7%的precision@1和80.9%的recall@10，优于所有基线方法。

ABSTRACT

In this paper we define and investigate the problem of \emph{persona authentication}: learning a conversational policy to verify the consistency of persona models. We propose a learning objective and prove (under some mild assumptions) that local density estimators trained under this objective maximize the mutual information between persona information and dialog trajectory. Based on the proposed objective, we develop a method of learning an authentication model that adaptively outputs personalized questions to reveal the underlying persona of its partner throughout the course of multi-turn conversation. Experiments show that our authentication method discovers effective question sequences that generalize to unseen persona profiles.

研究动机与目标

• 为解决现有方法在验证基于人格的对话智能体一致性与真实性方面缺乏系统性方法的问题。
• 开发一种基于学习的方法，生成有效且自适应的问题序列，以揭示对话智能体中的隐藏人格特征。
• 将人格认证形式化为对话轨迹与人格表征之间互信息最大化的优化问题。
• 实现无需依赖人工标注交互数据的自动化、可扩展的人格模型评估。
• 在不损害响应质量或连贯性的前提下，将认证策略集成到GPT-2等预训练语言模型中。

提出的方法

• 提出一种认证损失函数，在弱假设下可确保局部密度估计器最大化对话历史与人格之间的互信息。
• 设计一种可微分的自适应问答策略，根据先前回复选择后续问题，逐步揭示人格信息。
• 采用两阶段框架：第一阶段，对话策略生成问题；第二阶段，训练好的识别器从生成的对话轨迹中估计人格。
• 使用条件语言模型（如GPT-2）作为目标智能体，并通过强化学习或监督学习在合成对话数据上微调认证策略。
• 采用Byte-Pair Encoding（BPE）进行分词，并将对话轨迹建模为多轮对话中源端与目标端响应的序列。
• 提出一种计算上可行的算法，具有渐近收敛性保证，可逼近完整的人格识别目标。

实验结果

研究问题

• RQ1 通过多轮对话，学习到的问答策略是否能有效揭示对话智能体的潜在人格？
• RQ2 如何以可微分且可扩展的方式最大化对话历史与人格之间的互信息？
• RQ3 所提出的认证方法是否能泛化到训练过程中未见过的人格配置？
• RQ4 与非目标导向或随机基线相比，自适应问答策略在人格发现中的性能表现如何？
• RQ5 认证策略是否能在不降低响应质量或一致性的情况下集成到预训练语言模型中？

主要发现

• 所提出的认证策略在未见人格配置上实现了83.7%的precision@1和80.9%的recall@10，显著优于所有基线方法。
• 即使随机问答策略也优于非目标导向对话（如语言模型和人格模型基线），表明目标导向提问能提升人格覆盖度。
• 人类策略基线实现了56.0%的precision@5和63.0%的recall@5，而所提方法在两项指标上均超越其表现，显示出更强的适应性与有效性。
• 使用认证损失训练的识别器模型优于多种基线嵌入方法，证明了损失目标在人格表征学习中的关键作用。
• 该方法在保持原始语言模型流畅性与连贯性的同时，实现了有效的人格发现。
• 消融研究与对话快照（补充材料中）证实，该策略能动态适应不同类型的人格，并生成多样化、能揭示人格特征的对话。