[论文解读] The Wall Street Neophyte: A Zero-Shot Analysis of ChatGPT Over MultiModal Stock Movement Prediction Challenges

Qianqian Xie, Weiguang Han+3 more|arXiv (Cornell University)|Apr 10, 2023

Stock Market Forecasting Methods被引用 23

一句话总结

该论文在一个零样本多模态的股票涨跌预测任务中评估 ChatGPT，使用价格特征和推文在三个数据集上的表现，与强基线进行比较，并分析提示设计与可解释性。

ABSTRACT

Recently, large language models (LLMs) like ChatGPT have demonstrated remarkable performance across a variety of natural language processing tasks. However, their effectiveness in the financial domain, specifically in predicting stock market movements, remains to be explored. In this paper, we conduct an extensive zero-shot analysis of ChatGPT's capabilities in multimodal stock movement prediction, on three tweets and historical stock price datasets. Our findings indicate that ChatGPT is a "Wall Street Neophyte" with limited success in predicting stock movements, as it underperforms not only state-of-the-art methods but also traditional methods like linear regression using price features. Despite the potential of Chain-of-Thought prompting strategies and the inclusion of tweets, ChatGPT's performance remains subpar. Furthermore, we observe limitations in its explainability and stability, suggesting the need for more specialized training or fine-tuning. This research provides insights into ChatGPT's capabilities and serves as a foundation for future work aimed at improving financial market analysis and prediction by leveraging social media sentiment and historical stock data.

研究动机与目标

• 评估 ChatGPT 在使用历史价格特征和推文进行多模态股票涨跌预测方面的零样本表现。
• 评估提示策略（包括 Chain-of-Thought 在内）对预测准确性的影响。
• 调查推文信息是否有助于预测，以及在金融场景中模型可解释性如何表现。

提出的方法

• 将股票涨跌预测表述为二分类问题（上涨或下跌），使用至日T的价格特征和推文。
• 在三个基准数据集上进行评估：BIGDATA22、ACL18 和 CIKM18，采用标准化预处理。
• 测试多种提示：原生零样本提示和 Chain-of-Thought (CoT) 提示，包括包含推文的CoT。
• 将 ChatGPT 与一系列基线方法进行对比（LR、RF、LSTM 变体、DTML、StockNet、SLOT 等）。
• 使用 ACC 和 MCC 作为评估指标，衡量跨数据集的预测性能。

实验结果

研究问题

• RQ1 RQ1: 在一个零样本的设置下，使用历史特征和推文的多模态股票涨跌预测，ChatGPT 的表现如何？
• RQ2 RQ2: 提示设计（包括 Chain-of-Thought）是否能提升 ChatGPT 在该任务上的性能？
• RQ3 RQ3: 引入推文信息是否有助于，还是会在 ChatGPT 的预测中引入噪声？

主要发现

• 与最先进的方法和传统方法相比，ChatGPT 通常表现较弱，在某些数据集上仅有有限提升。
• Chain-of-Thought 提示带来有限的改善，无法将差距弥补至专门模型。
• 包含推文在大多数数据集上有助于提升 ChatGPT 的性能，凸显文本数据在多模态股票预测中的价值。
• ChatGPT 可以通过 CoT 提供解释，但可解释性并未完全解决由于多模态信息融合导致的预测局限性。
• 在不同数据集上的表现差异明显（例如 ChatGPT_zs 在 CIKM18 上达到 55.43% ACC， MCC 0.0111；在 ACL18 上结果较低）。
• 消融分析表明推文通常有助于获得更好的结果，尽管并非在所有数据集上都成立；在某些数据集移除推文会有提升或下降，视数据集而定。