[论文解读] What Does ChatGPT Make of Historical Stock Returns? Extrapolation and Miscalibration in LLM Stock Return Forecasts

Shuaiyu Chen, T. Clifton Green+2 more|arXiv (Cornell University)|Sep 17, 2024

Stock Market Forecasting Methods被引用 4

一句话总结

本文研究了大型语言模型（LLMs）如ChatGPT如何预测历史股票收益，发现LLMs会过度外推近期表现，导致预期收益过于乐观。尽管其置信区间校准优于人类调查，LLMs在预测极端结果方面仍存在校准偏差，反映出与人类相似的行为偏见。

ABSTRACT

We examine how large language models (LLMs) interpret historical stock returns and compare their forecasts with estimates from a crowd-sourced platform for ranking stocks. While stock returns exhibit short-term reversals, LLM forecasts over-extrapolate, placing excessive weight on recent performance similar to humans. LLM forecasts appear optimistic relative to historical and future realized returns. When prompted for 80% confidence interval predictions, LLM responses are better calibrated than survey evidence but are pessimistic about outliers, leading to skewed forecast distributions. The findings suggest LLMs manifest common behavioral biases when forecasting expected returns but are better at gauging risks than humans.

研究动机与目标

• 考察LLMs如何解读和预测历史股票收益，与基于人类的预测方法进行比较。
• 识别LLMs在金融预测中是否表现出对近期表现的过度反应等行为偏见。
• 将LLM预测的准确性和校准度与历史实际收益及人群调查的股票排名进行对比。
• 评估LLM生成的置信区间在股票收益预测中的可靠性。
• 评估LLMs在金融预期中是否优于或复制了人类的行为偏见。

提出的方法

• 作者使用GPT-3.5和GPT-4收集LLM对历史股票收益的预测，输入为标准化的金融数据。
• LLM预测与金融预测平台上的实际历史收益及人群调查的股票排名进行对比。
• 通过80%置信区间预测评估预测校准度，考察覆盖概率与分布偏态。
• 统计分析测量预测偏差、过度自信程度以及LLM回应中收益外推的程度。
• 研究采用受控实验设计，确保模型和时间段的提示一致，以隔离模型行为。
• 分析响应分布以检测极端预测中的校准偏差，并评估预测不确定性的对称性。

实验结果

研究问题

• RQ1 LLMs是否像人类的行为偏见一样，过度外推近期股票收益？
• RQ2 LLM预测在准确性和校准度方面与实际历史收益及基于人类调查的预测相比如何？
• RQ3 LLM生成的80%置信区间是否校准良好，还是系统性地低估或高估极端结果？
• RQ4 LLM预测相对于实际市场表现，其乐观或悲观程度如何？
• RQ5 尽管存在行为偏见，LLMs在评估下行风险方面是否优于人类预测者？

主要发现

• LLM预测显著过度外推近期股票收益，与人类的短期反转偏见一致。
• LLM预测系统性地比实际历史收益和未来实际收益更为乐观。
• 尽管LLM的置信区间校准优于人类调查预测，但其对极端下行异常值的预测仍显悲观，导致预测分布偏斜。
• LLMs在预测尾部事件时存在校准偏差，低估了大幅负收益的频率。
• 尽管存在行为偏见，LLMs在评估下行风险方面优于人类预测者。
• 本研究证实，LLMs在金融预测中复制了常见的行为金融学偏见，尤其体现在收益外推和置信区间校准偏差方面。