[论文解读] S$^3$: Social-network Simulation System with Large Language Model-Empowered Agents

Chen Gao, Xiaochong Lan+6 more|arXiv (Cornell University)|Jul 27, 2023

Topic Modeling被引用 6

一句话总结

S$^3$ 引入了一种基于大型语言模型（LLM）赋能的智能体的社会网络模拟系统，用于模拟社交网络中人类的情感、态度和互动行为。通过结合微调后的 LLM 与提示工程及用户人口统计推断，该系统在真实数据上实现了对信息、态度和情感传播等群体层面动态的高精度再现。

ABSTRACT

Social network simulation plays a crucial role in addressing various challenges within social science. It offers extensive applications such as state prediction, phenomena explanation, and policy-making support, among others. In this work, we harness the formidable human-like capabilities exhibited by large language models (LLMs) in sensing, reasoning, and behaving, and utilize these qualities to construct the S$^3$ system (short for $ extbf{S}$ocial network $ extbf{S}$imulation $ extbf{S}$ystem). Adhering to the widely employed agent-based simulation paradigm, we employ prompt engineering and prompt tuning techniques to ensure that the agent's behavior closely emulates that of a genuine human within the social network. Specifically, we simulate three pivotal aspects: emotion, attitude, and interaction behaviors. By endowing the agent in the system with the ability to perceive the informational environment and emulate human actions, we observe the emergence of population-level phenomena, including the propagation of information, attitudes, and emotions. We conduct an evaluation encompassing two levels of simulation, employing real-world social network data. Encouragingly, the results demonstrate promising accuracy. This work represents an initial step in the realm of social network simulation empowered by LLM-based agents. We anticipate that our endeavors will serve as a source of inspiration for the development of simulation systems within, but not limited to, social science.

研究动机与目标

• 开发一种新型基于智能体的社会网络模拟系统，利用 LLM 模拟社交互动中的人类行为特征。
• 通过整合 LLM 以增强个体层面的感知、推理与行为生成能力，解决现有模拟系统的局限性。
• 实现在真实社交网络情境下，信息、态度与情感传播等群体层面现象的高精度模拟。
• 通过提供可控、可解释且逼真的模拟环境，支持政策制定与社会科学研究。
• 为未来大规模社交模拟中基于智能体与系统动力学建模的融合奠定基础。

提出的方法

• 系统利用真实社交网络数据构建模拟环境，通过基于提示的推断模块，结合提示工程与提示微调，整合用户人口统计数据。
• LLM 驱动的智能体模拟个体行为，包括内容转发、内容创建与不作为，其行为受上下文线索与历史内容引导。
• 通过结合人口统计与历史数据的、具备记忆感知能力的提示工程，利用微调后的 LLM 建模情感、态度与互动行为。
• 模拟采用混合方法：个体层面的智能体行为由 LLM 推理生成，而群体层面的动态则源于这些行为的聚合。
• 通过两个真实场景——性别歧视与核能议题——进行评估，检验系统再现真实社交动态的能力。
• 系统架构支持通过专用界面实现政策干预，实现对政策情景的可控测试。

实验结果

研究问题

• RQ1 LLM 驱动的智能体能否在社交网络互动中真实模拟人类的情感与态度反应？
• RQ2 基于 LLM 的智能体在多大程度上能够复现真实社交网络数据中信息、态度与情感的传播？
• RQ3 如何有效整合人口统计与历史内容数据到 LLM 智能体中，以提升模拟行为的真实性？
• RQ4 基于智能体与系统动力学建模的融合，能否提升社交网络模拟的全面性与准确性？
• RQ5 如何在基于 LLM 的模拟框架中有效建模与评估政策干预？

主要发现

• S$^3$ 系统成功模拟了社交网络中信息、态度与情感传播的逼真模式，在真实数据上展现出令人期待的准确性。
• 通过提示工程与微调实现的人口统计推断，显著提升了模拟中智能体行为的真实性。
• LLM 驱动的智能体展现出类人推理与记忆使用能力，支持上下文感知响应与随时间演变的行为适应。
• 对性别歧视与核能议题的模拟表明，系统能够再现复杂社会动态，包括极化与态度转变。
• 系统通过专用界面支持政策干预测试，可在受控环境中对政策结果进行基于证据的评估。
• 通过架构优化（包括并行与分布式计算）可进一步提升性能，实现高效扩展模拟规模。