[论文解读] When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments

Chong Zhang, Xinyi Liu+11 more|arXiv (Cornell University)|Jul 15, 2024

Stock Market Forecasting MethodsDecision Sciences被引用 3

一句话总结

本文提出 StockAgent，一种基于多智能体 LLM 的框架，用于模拟逼真的股票交易环境，研究宏观经济、政策变化和市场事件等外部因素如何影响基于人工智能的交易行为。通过防止测试数据泄露并利用 LLM 模拟多样化的投资者策略，StockAgent 揭示了显著的行为模式差异——例如，GPT 与 Gemini 智能体之间表现出更低的羊群效应和更高的策略多样性，为基于 LLM 的投资可靠性与个性化提供了洞见。

ABSTRACT

Can AI Agents simulate real-world trading environments to investigate the impact of external factors on stock trading activities (e.g., macroeconomics, policy changes, company fundamentals, and global events)? These factors, which frequently influence trading behaviors, are critical elements in the quest for maximizing investors' profits. Our work attempts to solve this problem through large language model based agents. We have developed a multi-agent AI system called StockAgent, driven by LLMs, designed to simulate investors' trading behaviors in response to the real stock market. The StockAgent allows users to evaluate the impact of different external factors on investor trading and to analyze trading behavior and profitability effects. Additionally, StockAgent avoids the test set leakage issue present in existing trading simulation systems based on AI Agents. Specifically, it prevents the model from leveraging prior knowledge it may have acquired related to the test data. We evaluate different LLMs under the framework of StockAgent in a stock trading environment that closely resembles real-world conditions. The experimental results demonstrate the impact of key external factors on stock market trading, including trading behavior and stock price fluctuation rules. This research explores the study of agents' free trading gaps in the context of no prior knowledge related to market data. The patterns identified through StockAgent simulations provide valuable insights for LLM-based investment advice and stock recommendation. The code is available at https://github.com/MingyuJ666/Stockagent.

研究动机与目标

• 开发一种仿真框架，模拟真实世界的股票交易动态，且不依赖历史数据泄露。
• 研究外部因素（如经济指标、政策变化和公司报告）如何影响基于 AI 的智能体交易行为与盈利能力。
• 在受控的事件驱动市场环境中，评估不同 LLM（如 GPT 与 Gemini）之间在交易策略与决策倾向上的差异。
• 支持可解释、可定制的基于智能体的实验，用于测试投资策略、情绪动态与模拟市场中的风险暴露。
• 为评估基于 LLM 的股票推荐与量化交易系统的可靠性与偏差特征提供基础。

提出的方法

• 设计一个多智能体 AI 系统，其中每个智能体由大型语言模型（LLM）驱动，模拟具有不同决策风格的个体投资者。
• 实现一个事件驱动的仿真引擎，用于建模真实世界的市场状况，包括新闻事件、财报发布、利率变动以及借贷机制。
• 引入测试数据隔离机制，防止 LLM 访问或记忆未来市场数据，彻底消除测试集泄露问题。
• 利用 LLM 基于上下文市场信息、外部事件及智能体特定角色（如成长型 vs. 价值型投资者）生成交易决策。
• 集成可定制的提示词与角色定义，以控制智能体行为，模拟不同的投资风格与风险偏好。
• 通过共享信息渠道（如 BBS 用于情绪共享）实现实时智能体交互，同时支持选择性禁用，以研究行为影响。

Figure 2. The workflow of trading simulation.

实验结果

研究问题

• RQ1 宏观经济变动、政策调整和公司基本面等外部因素如何影响仿真市场中基于 LLM 的 AI 智能体的交易行为与盈利能力？
• RQ2 不同 LLM（如 GPT 与 Gemini）固有的偏差与推理模式在多大程度上塑造了独特的交易策略与绩效结果？
• RQ3 在缺乏对测试数据先验知识的情况下，系统性交易行为（如羊群效应或趋势跟踪）在基于 LLM 的智能体中如何涌现？
• RQ4 禁用特定信息渠道（如 BBS、贷款功能）对智能体风险承担、利润方差与市场竞争力有何影响？
• RQ5 基于 LLM 的智能体是否能在不依赖历史数据的前提下，模拟个性化投资风格与多样化策略？这又如何影响仿真的真实性？

主要发现

• 由 GPT 驱动的智能体表现出比 Gemini 智能体更独立、更多样化的交易行为，羊群效应与趋势跟踪倾向更低。
• 禁用非首轮贷款功能与 BBS 信息共享后，所有智能体的交易行为趋于保守，表明信息渠道与杠杆机制显著影响风险暴露。
• 移除盈利报告或利率变动事件后，部分智能体由亏损转为盈利，凸显基本面数据在智能体表现中的关键作用。
• 完全切断金融信息访问后，智能体间的利润与亏损方差显著上升，表明市场竞争加剧且可预测性降低。
• 尽管处于相同的外部环境，LLM 智能体仍保留其固有的独特交易倾向，表明即使在上下文感知、单步决策中，模型特异性偏差依然存在。
• 仿真结果表明，基于 LLM 的智能体能够体现个性化投资风格，支持其在模拟异质投资者行为与测试策略鲁棒性方面的应用。

Figure 3. The demonstration of stock market investment. In our simulation, agents make investment decisions based on multiple external sources of information.