[论文解读] Prediction of financial time series using LSTM and data denoising methods

Qi Tang, Tongmei Fan+3 more|arXiv (Cornell University)|Mar 5, 2021

Stock Market Forecasting Methods参考文献 6被引用 11

一句话总结

本文提出一种结合小波变换（WT）和奇异谱分析（SSA）的混合LSTM模型，用于去噪高频金融时间序列。通过分解并重构道琼斯工业平均指数（DJIA）收盘价以去除噪声，WT-LSTM模型在预测准确性和泛化能力方面显著优于标准LSTM模型，在1小时、3小时和6小时的短期、中期和长期预测中均优于LSTM和SSA-LSTM模型。

ABSTRACT

In order to further overcome the difficulties of the existing models in dealing with the non-stationary and nonlinear characteristics of high-frequency financial time series data, especially its weak generalization ability, this paper proposes an ensemble method based on data denoising methods, including the wavelet transform (WT) and singular spectrum analysis (SSA), and long-term short-term memory neural network (LSTM) to build a data prediction model, The financial time series is decomposed and reconstructed by WT and SSA to denoise. Under the condition of denoising, the smooth sequence with effective information is reconstructed. The smoothing sequence is introduced into LSTM and the predicted value is obtained. With the Dow Jones industrial average index (DJIA) as the research object, the closing price of the DJIA every five minutes is divided into short-term (1 hour), medium-term (3 hours) and long-term (6 hours) respectively. . Based on root mean square error (RMSE), mean absolute error (MAE), mean absolute percentage error (MAPE) and absolute percentage error standard deviation (SDAPE), the experimental results show that in the short-term, medium-term and long-term, data denoising can greatly improve the accuracy and stability of the prediction, and can effectively improve the generalization ability of LSTM prediction model. As WT and SSA can extract useful information from the original sequence and avoid overfitting, the hybrid model can better grasp the sequence pattern of the closing price of the DJIA. And the WT-LSTM model is better than the benchmark LSTM model and SSA-LSTM model.

研究动机与目标

• 解决高频金融时间序列中存在的非平稳性和非线性问题。
• 提升LSTM模型的泛化能力，该模型常因噪声金融数据而过拟合。
• 评估数据去噪技术——小波变换（WT）和奇异谱分析（SSA）——在提升基于LSTM的预测性能方面的有效性。
• 开发并验证一种将去噪与深度学习相结合的混合模型，以实现稳健的金融预测。
• 在多个时间跨度（1小时、3小时、6小时）上比较WT-LSTM、SSA-LSTM和标准LSTM的性能。

提出的方法

• 应用小波变换（WT）将原始DJIA收盘价序列分解为近似系数和细节系数。
• 使用奇异谱分析（SSA）将时间序列分解为趋势、振荡和噪声分量。
• 通过选择性保留WT和SSA分解中的显著分量，重构去噪信号。
• 将去噪后的平滑序列输入长短期记忆（LSTM）神经网络进行时间序列预测。
• 在去噪序列上训练LSTM模型，以预测未来在短期、中期和长期时间跨度内的收盘价。
• 通过超参数调优优化模型性能，并使用均方根误差（RMSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）和标准差修正平均百分比误差（SDAPE）进行评估。

实验结果

研究问题

• RQ1 通过WT和SSA进行数据去噪是否能提升LSTM模型在高频金融时间序列上的预测准确性？
• RQ2 WT-LSTM模型在预测误差和稳定性方面与标准LSTM和SSA-LSTM模型相比表现如何？
• RQ3 去噪是否能增强LSTM模型在非平稳和非线性金融数据上的泛化能力？
• RQ4 在与LSTM结合用于金融时间序列预测时，哪种去噪方法——WT或SSA——表现更优？
• RQ5 在使用去噪输入时，不同时间跨度（1小时、3小时、6小时）的预测误差如何变化？

主要发现

• 与标准LSTM相比，使用WT和SSA进行去噪在所有时间跨度（1小时、3小时、6小时）上均显著提升了预测准确性。
• WT-LSTM模型在RMSE、MAE和MAPE指标上均达到最低值，优于基线LSTM和SSA-LSTM模型。
• WT-LSTM模型降低了平均百分比误差标准差（SDAPE），表明预测更具稳定性。
• 去噪通过减少对噪声数据的过拟合，增强了LSTM模型的泛化能力。
• WT和SSA均能有效从原始DJIA序列中提取有用信号分量，同时保留关键价格模式。
• 混合WT-LSTM方法在捕捉长期趋势和短期波动方面表现出更优的鲁棒性和一致性。