[论文解读] Support for Stock Trend Prediction Using Transformers and Sentiment Analysis

Harsimrat Kaeley, Ye Qiao+1 more|arXiv (Cornell University)|May 18, 2023

Stock Market Forecasting MethodsDecision Sciences被引用 3

一句话总结

本文提出 StockFormer，一种基于 Transformer 的模型，结合技术面股票数据与新闻标题的情感分析，以提升长期股票趋势预测性能。通过利用自注意力机制捕捉长期依赖关系，并整合实时情感信号，该模型在 30 天预测窗口下，方向准确率较 RNN 提高最多 18.63%，在更长的时间跨度上展现出卓越性能。

ABSTRACT

Stock trend analysis has been an influential time-series prediction topic due to its lucrative and inherently chaotic nature. Many models looking to accurately predict the trend of stocks have been based on Recurrent Neural Networks (RNNs). However, due to the limitations of RNNs, such as gradient vanish and long-term dependencies being lost as sequence length increases, in this paper we develop a Transformer based model that uses technical stock data and sentiment analysis to conduct accurate stock trend prediction over long time windows. This paper also introduces a novel dataset containing daily technical stock data and top news headline data spanning almost three years. Stock prediction based solely on technical data can suffer from lag caused by the inability of stock indicators to effectively factor in breaking market news. The use of sentiment analysis on top headlines can help account for unforeseen shifts in market conditions caused by news coverage. We measure the performance of our model against RNNs over sequence lengths spanning 5 business days to 30 business days to mimic different length trading strategies. This reveals an improvement in directional accuracy over RNNs as sequence length is increased, with the largest improvement being close to 18.63% at 30 business days.

研究动机与目标

• 解决 RNN 在捕捉长期依赖关系以及处理市场新闻滞后方面在股票趋势预测中的局限性。
• 开发一种基于 Transformer 的模型，整合技术指标与来自新闻标题的实时情感信息，以提升预测准确率。
• 在不同序列长度（5 至 30 个交易日）下评估模型性能，以检验其对不同交易策略的可扩展性。
• 引入一个新型数据集，包含近三年的每日技术数据和前几大新闻标题，用于长期金融预测研究。
• 将所提模型与 RNN 及近期基于 Transformer 的模型进行对比，尤其关注此前未充分探索的长周期窗口表现。

提出的方法

• 模型采用 Transformer 编码器架构，利用多头自注意力机制，对股票数据与标题序列中的长程时间依赖关系进行建模。
• 将技术面股票特征（如开盘价、最高价、最低价、收盘价、成交量）进行归一化处理，并与从头部新闻标题中提取的情感嵌入向量一同输入模型。
• 通过自然语言处理技术对每日新闻标题进行情感分析，生成实时情感嵌入向量，并与技术特征拼接。
• 模型以回归任务形式训练，基于 n 日滞后窗口的数据预测次日的归一化开盘价（n+1）。
• 采用正弦函数形式的位置编码，以保留输入序列中的时间顺序，使模型能够学习时间动态特性。
• 性能评估采用方向准确率、均方误差（MSE）和决定系数 R²，与 LSTM、GRU 及 S_EMDAM_LSTM 基线模型在多个窗口尺寸下进行对比。

实验结果

研究问题

• RQ1 基于 Transformer 的模型是否能通过更好地捕捉长期依赖关系，在长期股票趋势预测中超越 RNN？
• RQ2 与仅依赖技术分析相比，整合新闻标题的情感分析在多大程度上提升了方向准确率？
• RQ3 模型性能在不同序列长度（5 至 30 个交易日）下如何变化？Transformer 与 RNN 之间的性能差距是否随时间跨度延长而扩大？
• RQ4 实时情感信号的整合是否能缓解技术指标在市场波动期间固有的滞后性？
• RQ5 与近期基于 Transformer 的模型（如 TEANet）相比，所提出的 StockFormer 模型在相似短中期和长期窗口下的准确率表现如何？

主要发现

• 在 30 天预测窗口下，StockFormer 模型达到 89.19% 的方向准确率，相较于基于 RNN 的模型实现峰值 18.63% 的性能提升。
• 方向准确率随序列长度增加而提升，表明 Transformer 的自注意力机制能有效捕捉 RNN 难以维持的长期依赖关系。
• 在长周期预测中，该模型优于双向 LSTM、GRU-News 和 S_EMDAM_LSTM 基线模型，尤其在 30 天窗口下显著超越基于 RNN 的模型。
• 在 5 天窗口下，StockFormer 达到 60.36% 的方向准确率，略低于 TEANet 的 65.16%，表明包含 RNN 的模型在短期预测中可能更具优势。
• 整合新闻标题的情感分析提升了模型对市场冲击的响应能力，减少了滞后技术指标与实时市场走势之间的脱节。
• 该模型在多个指标上表现稳健，在 30 天窗口下 R² 达到 0.9219，MSE 为 0.1071，表明其在归一化价格趋势预测上具有出色的回归性能。