[论文解读] Stock Market Price Prediction: A Hybrid LSTM and Sequential Self-Attention based Approach

Karan Pardeshi, Sukhpal Singh Gill+1 more|arXiv (Cornell University)|Aug 7, 2023

Stock Market Forecasting Methods参考文献 14被引用 7

一句话总结

本文提出了一种混合深度学习模型 LSTM-SSAM，结合长短期记忆网络与顺序自注意力机制，以提高股票价格预测的准确性。该模型利用历史价格趋势和季节性特征，在 SBIN、HDFCBANK 和 BANKBARODA 数据集上实现了最先进性能，相较于现有方法，RMSE 和 R² 评分均表现更优。

ABSTRACT

One of the most enticing research areas is the stock market, and projecting stock prices may help investors profit by making the best decisions at the correct time. Deep learning strategies have emerged as a critical technique in the field of the financial market. The stock market is impacted due to two aspects, one is the geo-political, social and global events on the bases of which the price trends could be affected. Meanwhile, the second aspect purely focuses on historical price trends and seasonality, allowing us to forecast stock prices. In this paper, our aim is to focus on the second aspect and build a model that predicts future prices with minimal errors. In order to provide better prediction results of stock price, we propose a new model named Long Short-Term Memory (LSTM) with Sequential Self-Attention Mechanism (LSTM-SSAM). Finally, we conduct extensive experiments on the three stock datasets: SBIN, HDFCBANK, and BANKBARODA. The experimental results prove the effectiveness and feasibility of the proposed model compared to existing models. The experimental findings demonstrate that the root-mean-squared error (RMSE), and R-square (R2) evaluation indicators are giving the best results.

研究动机与目标

• 开发一种深度学习模型，通过利用历史价格趋势和季节性特征，提升股票价格预测的准确性。
• 将顺序自注意力机制整合到 LSTM 中，以更好地捕捉长程依赖关系和关键价格模式。
• 在真实世界股票数据集上评估所提出的模型，并与现有最先进模型进行性能比较。
• 以 RMSE 最小化预测误差，以 R² 最大化预测能力，作为关键评估指标。

提出的方法

• 该模型使用长短期记忆（LSTM）网络作为主要序列编码器，以学习历史股票价格中的时间依赖关系。
• 在 LSTM 层之后应用顺序自注意力机制，以动态加权序列中不同时间步的重要性。
• 注意力机制通过聚焦于相关的历史价格模式与趋势，计算上下文感知的表示。
• 最终的预测头基于注意力调制后的 LSTM 输出所获得的增强上下文特征，生成未来价格预测。
• 采用均方误差损失函数进行端到端训练，以最小化预测误差。
• 该架构在三只印度银行股（SBIN、HDFCBANK 和 BANKBARODA）上进行评估。

实验结果

研究问题

• RQ1 与独立的 LSTM 或其他深度学习模型相比，混合 LSTM 与顺序自注意力机制的模型是否能提升股票价格预测的准确性？
• RQ2 自注意力机制在多大程度上增强了模型捕捉长期依赖关系和关键价格趋势的能力？
• RQ3 在不同股票数据集上，所提出的 LSTM-SSAM 模型在 RMSE 和 R² 指标上的表现如何？
• RQ4 顺序自注意力的集成是否使预测在不同市场条件下更具鲁棒性和泛化能力？

主要发现

• LSTM-SSAM 模型在 SBIN、HDFCBANK 和 BANKBARODA 数据集上均取得了所有对比模型中最低的均方根误差（RMSE）。
• 该模型记录了最高的决定系数（R²）值，表明其具有强大的解释能力，并与实际价格走势高度吻合。
• 顺序自注意力机制的集成显著提升了模型聚焦关键价格模式的能力，同时减少了预测中的噪声。
• 在 RMSE 和 R² 指标上，所提出的模型均优于基线模型，包括标准 LSTM 和其他注意力增强架构。