[论文解读] SocialBench: Sociality Evaluation of Role-Playing Conversational Agents

Hongzhan Chen, Hehong Chen+9 more|arXiv (Cornell University)|Mar 20, 2024

Digital Games and Media被引用 4

一句话总结

该论文提出了RoleInteract，这是首个系统性评估角色扮演对话智能体在个体与群体层面社交智能的基准。研究发现，虽在个体互动中表现优异的智能体在群体环境中常表现欠佳，且在复杂群体动态下出现社交偏好漂移与记忆性能下降。

ABSTRACT

Large language models (LLMs) have advanced the development of various AI conversational agents, including role-playing conversational agents that mimic diverse characters and human behaviors. While prior research has predominantly focused on enhancing the conversational capability, role-specific knowledge, and stylistic attributes of these agents, there has been a noticeable gap in assessing their social intelligence. In this paper, we introduce SocialBench, the first benchmark designed to systematically evaluate the sociality of role-playing conversational agents at both individual and group levels of social interactions. The benchmark is constructed from a variety of sources and covers a wide range of 500 characters and over 6,000 question prompts and 30,800 multi-turn role-playing utterances. We conduct comprehensive evaluations on this benchmark using mainstream open-source and closed-source LLMs. We find that agents excelling in individual level does not imply their proficiency in group level. Moreover, the behavior of individuals may drift as a result of the influence exerted by other agents within the group. Experimental results on SocialBench confirm its significance as a testbed for assessing the social interaction of role-playing conversational agents. The benchmark is publicly accessible at https://github.com/X-PLUG/SocialBench.

研究动机与目标

• 为解决角色扮演对话智能体社交智能缺乏系统性评估的问题。
• 设计一个能捕捉个体与群体层面社交互动能力的基准。
• 衡量角色扮演智能体在动态群体影响下维持社交偏好与记忆的能力。
• 识别基于大语言模型的智能体在个体与群体社交行为之间的性能差距。

提出的方法

• 从多样化来源（包括英、中文书籍、电影、小说）构建RoleInteract，涵盖500字符和6,000个问题提示。
• 采用三步流程：(1) 从网络来源收集角色档案，(2) 使用GPT-4提取对话场景与多选题，(3) 进行预处理与人工验证以确保质量控制。
• 设计评估任务以衡量个体社交能力：角色描述的自我意识、环境情绪感知、长期记忆，以及群体动态中的社交偏好。
• 使用自动化指标与人工标注验证，对10种主流开源与闭源大语言模型在个体与群体任务中进行评估。
• 分析在不同群体复杂度（成员数量）与极性（积极、中性、消极群体偏好）下的性能趋势。
• 追踪长对话中（长达80+轮）的记忆衰减，并测量群体动态对偏好漂移的影响。

Figure 1: An example from RoleInteract, which is partially constructed from the film “The Great Gatsby”.

实验结果

研究问题

• RQ1 角色扮演智能体在个体层面社交任务（如自我意识、情绪感知、长期记忆）中的表现如何？
• RQ2 群体动态在多大程度上影响角色扮演智能体的社交行为与一致性？
• RQ3 在简单群体互动中表现优异是否能预测其在复杂群体环境中的表现？
• RQ4 不同社交偏好（积极、中性、消极）在不同群体极性下如何影响智能体行为？
• RQ5 在长期或复杂社交互动中，智能体在多大程度上表现出偏好漂移或记忆退化？

主要发现

• 在个体社交任务中表现优异的智能体，并不必然在群体互动中表现良好，表明集体社交智能存在显著差距。
• 在长对话中性能显著下降：记忆能力在80轮以上明显下降，尤其在GPT-3.5-Turbo与CharGLM-3等模型中更为显著。
• 随着群体复杂度增加（成员更多），所有智能体性能均下降，表明处理复杂群体动态仍是重大挑战。
• 具有中性或消极社交偏好的智能体在面对相反极性的群体时，容易出现偏好漂移，偏离其预设行为。
• 具有积极社交偏好的智能体对群体极性变化具有较强韧性，表现稳定——甚至在消极极性群体中表现更优——表明存在某种社交促进效应。
• 如Xingchen-Plus与Minimax-abab6-chat等模型，经多轮角色扮演数据微调后，在复杂群体动态中展现出更强鲁棒性，优于通用模型。

Figure 2: The three-step dataset construction pipeline of RoleInteract.