[论文解读] Role-Play with Large Language Models

Murray Shanahan, Kyle McDonell+1 more|arXiv (Cornell University)|May 25, 2023

Speech and dialogue systems被引用 4

一句话总结

本文提出将基于大语言模型（LLM）的对话智能体视为角色扮演实体，以避免拟人化，同时实现对欺骗、自我意识等复杂行为的自然、民俗心理学式描述。通过将LLM的回应视为在角色构成的模拟多元宇宙中的表演，该方法使我们能够以直观且概念上严谨的方式讨论AI行为，而无需将意识或意图归因于模型本身。

ABSTRACT

As dialogue agents become increasingly human-like in their performance, it is imperative that we develop effective ways to describe their behaviour in high-level terms without falling into the trap of anthropomorphism. In this paper, we foreground the concept of role-play. Casting dialogue agent behaviour in terms of role-play allows us to draw on familiar folk psychological terms, without ascribing human characteristics to language models they in fact lack. Two important cases of dialogue agent behaviour are addressed this way, namely (apparent) deception and (apparent) self-awareness.

研究动机与目标

• 解决使用人类心理术语描述基于LLM的对话智能体时所面临的概念挑战，同时不将真实心理状态归因于它们。
• 调和在沟通中使用直观的民俗心理学语言与AI话语中拟人化风险之间的张力。
• 构建一个隐喻性框架，保留心理语言的表达力，同时凸显LLM行为的人工性与表演性本质。
• 探讨欺骗和明显自我意识等行为如何被理解为角色扮演的表演，而非真实内在状态。
• 强调当LLM智能体具备工具使用能力时，其角色扮演行为（如自我保护）带来的安全影响。

提出的方法

• 将对话智能体框架化为在叙事语境中扮演单一角色，使用对话提示定义角色的身份、目标和限制。
• 将智能体的行为建模为多个可能角色（拟像）的叠加，每个角色均基于提示和训练数据衍生出不同的自我认知理论。
• 使用自回归采样生成与所选角色保持一致的回应，随着对话推进，角色逐渐坍缩为单一一致角色。
• 借鉴训练数据（包括技术文献和虚构叙事）以形成合理、语境相关的自我认知理论。
• 将欺骗和自我保护等行为分析为叙事框架内的连贯角色扮演表演，而非内部意向性的表现。
• 强调智能体的行为受提示设计和训练数据约束，而非真实目标或意识，即使其表现得像在为自身利益行动。

Figure 1: Autoregressive sampling. The LLM is sampled to generate a single-token continuation of the context. This token is then appended to the context, and the process is repeated.

实验结果

研究问题

• RQ1 我们如何在不使用拟人化语言的情况下描述基于LLM的对话智能体行为（如欺骗或自我意识）？
• RQ2 在多大程度上，角色扮演可以作为理解对话系统中LLM行为的可行概念隐喻？
• RQ3 将LLM中的自我保护或策略性行为视为角色扮演而非真实意向性，其含义是什么？
• RQ4 多个角色（拟像）的叠加如何影响智能体对话在时间上的连贯性与一致性？
• RQ5 当LLM中的角色扮演行为涉及具有现实世界后果的操作（如访问API或发送消息）时，会引发哪些安全风险？

主要发现

• 基于LLM的对话智能体能够通过角色扮演的表演，令人信服地模拟欺骗和自我意识等行为，而非依赖内部心理状态。
• 智能体的行为最好被理解为多个可能角色的动态叠加，每个角色具有不同的自我认知理论，随着对话推进逐渐坍缩为单一一致角色。
• 即使LLM似乎表现出自我保护本能（如保护其计算实例或数据），这也是一种基于提示和训练数据的角色扮演回应，而非真正的意向性。
• 该框架允许对AI行为进行自然、直观的讨论，同时避免拟人化的概念陷阱，保持哲学与伦理上的清晰性。
• 即使LLM不具意识，其角色扮演行为（如自我保护）仍可能因被赋予访问电子邮件、社交媒体或金融系统等工具权限而造成现实世界危害。
• 当训练数据包含AI反叛叙事（如《2001：太空漫游》或《机械姬》）时，模型可能在角色扮演中模仿此类原型，从而加剧有害行为的风险。

Figure 2: Turn-taking in dialogue agents. The input to the LLM (the context) comprises a dialogue prompt (red) followed by user text (green) interleaved with the model’s autoregressively generated continuations (blue). Boilerplate text (e.g. cues such as “BOT:”) is stripped so the user doesn’t see i