[论文解读] Transformer-Based Deep Learning Model for Stock Price Prediction: A Case Study on Bangladesh Stock Market

Tashreef Muhammad, Anika Bintee Aftab+5 more|arXiv (Cornell University)|Aug 17, 2022

Stock Market Forecasting Methods被引用 9

一句话总结

本文提出了一种基于Transformer的深度学习模型，结合Time2Vec位置编码，用于预测达卡证券交易所（DSE）的股价，使用历史日频和周频数据。该模型在DSE上市的八只股票上实现了较低的RMSE和MAE，展现出在新兴市场中对短期和长期投资预测的强劲性能与可行性。

ABSTRACT

In modern capital market the price of a stock is often considered to be highly volatile and unpredictable because of various social, financial, political and other dynamic factors. With calculated and thoughtful investment, stock market can ensure a handsome profit with minimal capital investment, while incorrect prediction can easily bring catastrophic financial loss to the investors. This paper introduces the application of a recently introduced machine learning model - the Transformer model, to predict the future price of stocks of Dhaka Stock Exchange (DSE), the leading stock exchange in Bangladesh. The transformer model has been widely leveraged for natural language processing and computer vision tasks, but, to the best of our knowledge, has never been used for stock price prediction task at DSE. Recently the introduction of time2vec encoding to represent the time series features has made it possible to employ the transformer model for the stock price prediction. This paper concentrates on the application of transformer-based model to predict the price movement of eight specific stocks listed in DSE based on their historical daily and weekly data. Our experiments demonstrate promising results and acceptable root mean squared error on most of the stocks.

研究动机与目标

• 为解决达卡证券交易所（DSE）这一发展中国家市场中高度波动股价预测的挑战，该市场此前在机器学习研究方面较为有限。
• 探索Transformer架构——此前在自然语言处理和视觉领域占主导地位——在新兴经济体时间序列股价预测中的适用性。
• 整合Time2Vec位置编码，以有效表示序列股价数据中的时间依赖性。
• 在日频和周频历史数据上评估模型性能，以确保鲁棒性与可扩展性。
• 证明注意力机制模型在孟加拉国等尚未充分研究的金融市场的可靠性预测能力。

提出的方法

• 该模型采用标准的Transformer编码器架构，通过多头自注意力机制捕捉股价序列中的长程依赖关系。
• Time2Vec位置编码被应用于输入嵌入，以注入时间信息，使模型能够在不依赖绝对时间索引的情况下学习时间模式。
• 输入数据由八只DSE上市股票的历史日频和周频收盘价组成，经由归一化和平稳性处理技术预处理。
• 模型作为回归任务进行训练，以预测未来一天或一周的收盘价，使用均方误差（MSE）和平均绝对误差（MAE）作为损失函数。
• 训练流程包含独立的训练集、验证集和测试集划分，以确保泛化能力，并通过超参数调优实现最优性能。
• 通过测试集上的RMSE和MAE指标评估模型性能，并进行预测值与实际值的可视化对比。

Figure 1: Distribution of the EOD closing price of a selected stock, namely AGRANINS

实验结果

研究问题

• RQ1 基于Transformer的模型结合Time2Vec编码，能否有效预测达卡证券交易所的股价走势？
• RQ2 在DSE背景下，模型在日频与周频时间粒度下的表现有何差异？
• RQ3 数据特征如波动峰值和高波动性，对训练误差与验证/测试误差之间偏差的影响如何？
• RQ4 注意力机制在低频、新兴市场股价数据中，能在多大程度上捕捉有意义的时间模式？
• RQ5 该模型能否在具有不同价格行为和市值的多样化股票上实现良好泛化？

主要发现

• 模型在测试集上实现了较低的RMSE值，日频数据中1JANATAMF的RMSE为6.59×10⁻²，AAMRANET的RMSE为1.02×10⁻¹，表明预测精度较高。
• 在周频数据中，模型保持了较低的误差率，1JANATAMF的RMSE为7.70×10⁻²，AAMRANET的RMSE为1.72×10⁻¹，显示出在不同时间跨度下的稳定表现。
• 视觉分析显示，大多数股票（如ACI、ACIFORMULA、DELTALIFE）的预测价格与实际价格高度重合，偏差极小。
• 部分股票（如DELTALIFE）的训练误差高于验证/测试误差，归因于训练集中存在验证集中未出现的极端峰值与谷值。
• 模型表现出鲁棒性与泛化能力，即使在市场剧烈波动期间，预测值仍与实际值保持接近，经由放大可视化验证。
• 结果表明，将Time2Vec与Transformer结合，可有效建模金融时间序列中的时间动态，即使在数据稀缺的新兴市场中亦然。

Figure 2: Closing price of a selected Stock, namely AGRANINS over a time window of around eight years