[论文解读] Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities through Open Large Language Models

Lucio La Cava, Andrea Tagarelli|arXiv (Cornell University)|Jan 13, 2024

Topic Modeling被引用 4

一句话总结

本研究利用MBTI和大五人格量表（BFI）框架，探究开源大型语言模型（LLM）代理在人格模仿方面的能力。研究发现，尽管开源LLM展现出明显内在人格特征，但大多数对角色与人格引导提示保持抗拒，表现出‘固执己见’的倾向；然而，结合两种引导方式可显著提升模仿效果。

ABSTRACT

The emergence of unveiling human-like behaviors in Large Language Models (LLMs) has led to a closer connection between NLP and human psychology. Scholars have been studying the inherent personalities exhibited by LLMs and attempting to incorporate human traits and behaviors into them. However, these efforts have primarily focused on commercially-licensed LLMs, neglecting the widespread use and notable advancements seen in Open LLMs. This work aims to address this gap by employing a set of 12 LLM Agents based on the most representative Open models and subject them to a series of assessments concerning the Myers-Briggs Type Indicator (MBTI) test and the Big Five Inventory (BFI) test. Our approach involves evaluating the intrinsic personality traits of Open LLM agents and determining the extent to which these agents can mimic human personalities when conditioned by specific personalities and roles. Our findings unveil that $(i)$ each Open LLM agent showcases distinct human personalities; $(ii)$ personality-conditioned prompting produces varying effects on the agents, with only few successfully mirroring the imposed personality, while most of them being ``closed-minded'' (i.e., they retain their intrinsic traits); and $(iii)$ combining role and personality conditioning can enhance the agents' ability to mimic human personalities. Our work represents a step up in understanding the dense relationship between NLP and human psychology through the lens of Open LLMs.

研究动机与目标

• 探究开源LLM代理是否能有效模仿人类人格，弥补当前研究多集中于专有模型的空白。
• 利用MBTI和BFI等标准化心理框架，评估开源LLM代理的内在人格特征。
• 评估人格引导提示在改变代理行为、实现目标人格模仿方面的有效性。
• 探索将角色扮演与人格引导相结合，是否能增强代理模仿人类人格特征的能力。

提出的方法

• 基于领先的开源模型，选取12个具有代表性的开源LLM代理用于评估。
• 实施标准化心理测评：使用迈尔斯-布里格斯性格类型指标（MBTI）和大五人格量表（BFI）测量内在人格特征。
• 应用人格引导提示，指示代理采用特定人格类型（例如：‘表现得外向且有条理’）。
• 开展双重引导实验，结合角色分配（例如：‘扮演治疗师’）与人格指定，以检验协同效应。
• 通过BFI特质得分与MBTI分类在提示前后的变化，量化人格转变程度，评估模仿保真度。
• 分析不同模型间响应模式的方差，以判断行为一致性与对引导的敏感性。

实验结果

研究问题

• RQ1 开源LLM代理是否在MBTI与BFI评估下展现出独特且可测量的内在人格特征？
• RQ2 人格引导提示在多大程度上能改变开源LLM代理的行为，使其与目标人格特征对齐？
• RQ3 与单一引导方式相比，结合角色扮演指令与人格指定是否能显著提升代理模仿人类人格的能力？
• RQ4 不同开源LLM架构与参数规模下，人格模仿结果的一致性如何？

主要发现

• 每个开源LLM代理在MBTI与BFI评估下均展现出独特且可识别的内在人格特征。
• 人格引导提示效果有限，仅少数代理能有效采纳目标人格，大多数仍保持其内在人格特征——表明存在‘固执己见’的抵抗倾向。
• 结合角色与人格引导显著提升了模仿表现，表明二者在塑造代理行为方面存在协同效应。
• BFI评估显示，在双重引导下，特定特质（如开放性、宜人性）出现可测量的改变，但变化幅度在不同模型间存在差异。
• 参数量更高的代理表现出稍强的行为可塑性，但并非成功模仿的决定性因素。
• 尽管经过引导，许多代理仍表现出不一致或表面化的特质对齐，表明其在深度人格模拟方面存在局限。