[论文解读] Stock and market index prediction using Informer network

Yuze Lu, Hailong Zhang+1 more|arXiv (Cornell University)|May 22, 2023

Stock Market Forecasting Methods被引用 8

一句话总结

该论文提出 Informer，一种基于 Transformer 的网络，具有 ProbSparse 自注意力、自注意力蒸馏以及全局时间戳特征，用于预测分钟级股票价格，在多数据集上相对于 LSTM、Transformer 和 BERT 展示出更高的准确性，并具备迁移学习能力。

ABSTRACT

Applications of deep learning in financial market prediction has attracted huge attention from investors and researchers. In particular, intra-day prediction at the minute scale, the dramatically fluctuating volume and stock prices within short time periods have posed a great challenge for the convergence of networks result. Informer is a more novel network, improved on Transformer with smaller computational complexity, longer prediction length and global time stamp features. We have designed three experiments to compare Informer with the commonly used networks LSTM, Transformer and BERT on 1-minute and 5-minute frequencies for four different stocks/ market indices. The prediction results are measured by three evaluation criteria: MAE, RMSE and MAPE. Informer has obtained best performance among all the networks on every dataset. Network without the global time stamp mechanism has significantly lower prediction effect compared to the complete Informer; it is evident that this mechanism grants the time series to the characteristics and substantially improves the prediction accuracy of the networks. Finally, transfer learning capability experiment is conducted, Informer also achieves a good performance. Informer has good robustness and improved performance in market prediction, which can be exactly adapted to real trading.

研究动机与目标

• 在高度波动的分钟级成交量和价格变动下，激励进行日内股票价格预测。
• 在 1 分钟和 5 分钟数据上，评估 Informer 相较于流行架构（LSTM、Transformer、BERT）的性能。
• 探索全球时间戳嵌入对预测准确性的影响。
• 展示 Informer 在不同市场、时间尺度和资产上的迁移学习能力。

提出的方法

• 采用 Informer，这是带有 ProbSparse 自注意力的改进 Transformer，可将复杂度从 O(L^2) 降至 O(L log L)。
• 引入自注意力蒸馏，逐步降低序列长度并节省内存。
• 采用生成推理方法，借助引导序列一次输出整个未来序列。
• 添加全局时间戳嵌入，捕捉分钟级时间上下文（年、月、周、小时、分钟）。
• 在 HSI、IXIC、腾讯和 AAPL 的 1 分钟和 5 分钟数据上，训练并将 Informer 与 LSTM、Transformer、BERT 进行比较。
• 使用 MAE、RMSE、MAPE，以及 70/10/20 的训练/验证/测试划分进行评估。

实验结果

研究问题

• RQ1 Informer 是否在分钟级股票与市场指数预测中优于 LSTM、Transformer 和 BERT？
• RQ2 ProbSparse 自注意力对短期预测的准确性与效率有何影响？
• RQ3 在波动的日内时段引入全球时间戳对预测性能有何影响？
• RQ4 Informer 能否在不同市场、资产与时间尺度上体现迁移学习的有效性？

主要发现

• Informer 在所有数据集和时间尺度上均在 MAE、RMSE、MAPE 三项指标上优于 LSTM、Transformer、BERT，取得最佳性能。
• 全局时间戳嵌入显著提升在波动的日内时段的预测准确性，相较仅使用位置嵌入。
• 移除全局时间戳（Informer�）会降低性能，特别是在交易活跃的数据集中。
• Informer 展示出迁移学习能力，在用 AAPL 预训练的权重应用到 HSI、IXIC、腾讯 时，尽管跨市场存在差异，预测准确性仍然在合理范围内。
• 总体而言，Informer 展现出鲁棒性与优越的短期预测能力，适用于真实交易。