[论文解读] Ploutos: Towards interpretable stock movement prediction with financial large language model

Hanshuang Tong, Jun Li+4 more|arXiv (Cornell University)|Feb 18, 2024

Stock Market Forecasting Methods被引用 6

一句话总结

Ploutos 引入了一个多模态金融大语言模型框架（PloutosGen 和 PloutosGPT），将文本和数值数据结合起来，并通过自适应专家加权来预测股票走向并生成真实、信息充分的推理理由。

ABSTRACT

Recent advancements in large language models (LLMs) have opened new pathways for many domains. However, the full potential of LLMs in financial investments remains largely untapped. There are two main challenges for typical deep learning-based methods for quantitative finance. First, they struggle to fuse textual and numerical information flexibly for stock movement prediction. Second, traditional methods lack clarity and interpretability, which impedes their application in scenarios where the justification for predictions is essential. To solve the above challenges, we propose Ploutos, a novel financial LLM framework that consists of PloutosGen and PloutosGPT. The PloutosGen contains multiple primary experts that can analyze different modal data, such as text and numbers, and provide quantitative strategies from different perspectives. Then PloutosGPT combines their insights and predictions and generates interpretable rationales. To generate accurate and faithful rationales, the training strategy of PloutosGPT leverage rearview-mirror prompting mechanism to guide GPT-4 to generate rationales, and a dynamic token weighting mechanism to finetune LLM by increasing key tokens weight. Extensive experiments show our framework outperforms the state-of-the-art methods on both prediction accuracy and interpretability.

研究动机与目标

• 通过融合文本与数值市场数据来推动可解释的股票走向预测。
• 开发一个模块化的专家池（情感、技术、人工），以提供多样化信号。
• 通过微调的 LLM 利用日常数据为决策生成透明的推理理由。

提出的方法

• 提出 PloutosGen 作为分析多模态股票数据的多元专家管线。
• 引入 PloutosGPT，使用 rearview-mirror prompting 从过去的案例中提取可信的推理理由。
• 通过强调关键推理令牌，应用动态令牌加权来微调该 LLM。
• 定义可信性与信息量指标以评估推理理由的质量。

实验结果

研究问题

• RQ1 RQ1：与当前基于 LLM 的和传统预测模型相比，Ploutos 的表现如何？
• RQ2 RQ2：Ploutos 的不同组件如何影响预测效果？
• RQ3 RQ3：生成的决策推理理由是否具有可信性与信息量？

主要发现

Model	ACL18 Acc	ACL18 MCC	CIKM18 Acc	CIKM18 MCC
ARIMA	51.42	-0.021	52.36	-0.012
Adv-LSTM	57.24	0.148	56.48	0.016
StockNet	58.23	0.081	56.37	0.023
DTML	57.44	0.191	58.62	0.045
GPT-4	53.08	0.023	57.44	0.034
LLaMA-2 - 7B	52.74	0.051	56.92	0.027
FinMA - 7B	56.28	0.104	53.24	-0.031
Ploutos - 7B	61.21	0.205	59.89	0.064

• Ploutos 在 ACL18 和 CIKM18 数据集上优于最先进的传统方法和基于 LLM 的方法。
• 消融实验表明每个组件（情感、技术、rearview-mirror prompting、动态令牌加权）对性能有贡献。
• Ploutos 在两个数据集（ACL18 和 CIKM18）上均实现比基线更高的准确度和 MCC。
• 与其他模型相比，Ploutos 的推理理由在可信性和信息量方面表现出更高水平。
• 带有最佳温度（约 0.5）的动态令牌加权同时提升准确度和推理理由质量。
• FinMA-7B 难以产生信息丰富的推理理由，凸显了 Ploutos 训练策略的优势。