[论文解读] Temporal Data Meets LLM -- Explainable Financial Time Series Forecasting

Xinli Yu, Zheng Chen+4 more|arXiv (Cornell University)|Jun 19, 2023

Stock Market Forecasting Methods被引用 47

一句话总结

本文提出 PALR，是一个框架，通过将用户历史与基于检索的候选项相结合，微调一个 7B 的基于 LLaMa 的模型来生成个性化推荐，并在两个序列推荐数据集上进行评估。

ABSTRACT

This paper presents a novel study on harnessing Large Language Models' (LLMs) outstanding knowledge and reasoning abilities for explainable financial time series forecasting. The application of machine learning models to financial time series comes with several challenges, including the difficulty in cross-sequence reasoning and inference, the hurdle of incorporating multi-modal signals from historical news, financial knowledge graphs, etc., and the issue of interpreting and explaining the model results. In this paper, we focus on NASDAQ-100 stocks, making use of publicly accessible historical stock price data, company metadata, and historical economic/financial news. We conduct experiments to illustrate the potential of LLMs in offering a unified solution to the aforementioned challenges. Our experiments include trying zero-shot/few-shot inference with GPT-4 and instruction-based fine-tuning with a public LLM model Open LLaMA. We demonstrate our approach outperforms a few baselines, including the widely applied classic ARMA-GARCH model and a gradient-boosting tree model. Through the performance comparison results and a few examples, we find LLMs can make a well-thought decision by reasoning over information from both textual news and price time series and extracting insights, leveraging cross-sequence information, and utilizing the inherent knowledge embedded within the LLM. Additionally, we show that a publicly available LLM such as Open-LLaMA, after fine-tuning, can comprehend the instruction to generate explainable forecasts and achieve reasonable performance, albeit relatively inferior in comparison to GPT-4.

研究动机与目标

• 推动将用户交互历史与大语言模型（LLMs）结合以改进推荐。
• 提出一个包含用户画像生成、候选项检索和物品排序的多步 PALR 框架。
• 在公开数据集上演示基于指令的微调（PALR_v1 和 PALR_v2）的有效性。
• 显示检索支撑的提示与大语言模型推理可以在序列推荐中超越传统基线。

提出的方法

• 将用户交互转换为自然语言提示，通过LLM生成用户画像。
• 使用检索模块基于用户画像从候选项池中进行预筛选。
• 用基于指令的任务对 7B LLaMa 模型进行微调（Recommend 与 Recommend_Retrieval）。
• 训练 PALR_v1 从过去历史预测未来项；通过引入检索感知目标扩展为 PALR_v2。
• 在留一法协议下使用 HR@10 和 NDCG@10 对两个数据集（Amazon Beauty 和 MovieLens-1M）进行评估。
• 显示该框架对检索层无关且在排序上优于 SASRec、BERT4Rec、LightGCN 等基线。

实验结果

研究问题

• RQ1 在提供用户历史和一个有据可依的候选项池时，经过指令微调的 7B LLM 能否有效执行个性化序列推荐？
• RQ2 添加检索支撑目标（Recommend_Retrieval）是否显著提升排序质量，相较于纯 Recommend 设置？
• RQ3 在标准数据集上，PALR 如何与强基线（SASRec、Caser、GRU4Rec）进行比较？
• RQ4 PALR 方法是否在不同数据集和项领域上具有鲁棒性？

主要发现

• PALR_v2 在两个数据集的 HR@10 和 NDCG@10 上显著优于基线。
• 在 Amazon Beauty 上，PALR_v2 的 HR@10 为 0.0721，NDCG@10 为 0.0446，优于 SASRec 及其他模型。
• 在 MovieLens-1M 上，PALR_v2 的 HR@10 为 0.2110，NDCG@10 为 0.1276，优于包括 SASRec 在内的所有基线。
• 使用检索感知指令对 PALR_v2 的微调相比于非检索的 PALR_v1 显著提升。
• 该框架对检索无关，且可以与各种检索方法配合使用，但检索显著提升了性能。