[论文解读] Optimizing Time Series Forecasting: A Comparative Study of Adam and Nesterov Accelerated Gradient on LSTM and GRU networks Using Stock Market data

Ayodeji Samuel Makinde|arXiv (Cornell University)|Sep 28, 2024

Stock Market Forecasting Methods被引用 5

一句话总结

该论文在 Apple 股票数据上比较 Adam 和 Nesterov Accelerated Gradient (NAG) 优化器在 LSTM 和 GRU 模型的股票价格预测中的表现；GRU 结合 Adam 获得最佳 RMSE 和收敛。

ABSTRACT

Several studies have discussed the impact different optimization techniques in the context of time series forecasting across different Neural network architectures. This paper examines the effectiveness of Adam and Nesterov's Accelerated Gradient (NAG) optimization techniques on LSTM and GRU neural networks for time series prediction, specifically stock market time-series. Our study was done by training LSTM and GRU models with two different optimization techniques - Adam and Nesterov Accelerated Gradient (NAG), comparing and evaluating their performance on Apple Inc's closing price data over the last decade. The GRU model optimized with Adam produced the lowest RMSE, outperforming the other model-optimizer combinations in both accuracy and convergence speed. The GRU models with both optimizers outperformed the LSTM models, whilst the Adam optimizer outperformed the NAG optimizer for both model architectures. The results suggest that GRU models optimized with Adam are well-suited for practitioners in time-series prediction, more specifically stock price time series prediction producing accurate and computationally efficient models. The code for the experiments in this project can be found at https://github.com/AhmadMak/Time-Series-Optimization-Research Keywords: Time-series Forecasting, Neural Network, LSTM, GRU, Adam Optimizer, Nesterov Accelerated Gradient (NAG) Optimizer

研究动机与目标

• 评估 Adam 和 Nesterov Accelerated Gradient 优化器在 LSTM 和 GRU 架构的股票价格时间序列预测中的表现。
• 确定哪种模型-优化器组合提供最佳的预测精度和收敛特性。
• 为金融数据的时间序列预测提供在优化器选择方面的实际指导。

提出的方法

• 使用两种优化器（Adam 和 NAG）在 2014 年至 2024 年苹果公司收盘价数据上训练 LSTM 和 GRU 模型。
• 使用归一化（最小-最大缩放）、缺失值填充，以及训练/验证/测试拆分进行数据预处理。
• 通过训练/验证损失、收敛行为和测试数据上的 RMSE 进行评估。
• 在 Google Colab 上使用 Keras（TensorFlow），批量大小为 1，学习率 0.001，每次运行 1 轮用于初步比较。

实验结果

研究问题

• RQ1 在每种优化器下，哪种模型（LSTM 与 GRU）对于股票价格预测的 RMSE 更低？
• RQ2 在收敛速度和稳定性方面，Adam 是否始终优于 NAG？
• RQ3 不同模型-优化器组合的训练/验证损失在各 epoch 的演变情况如何？
• RQ4 在使用 Adam 或 NAG 时，GRU 模型通常是否比 LSTM 更有效，针对该股票市场数据集？

主要发现

• GRU 与 Adam 的组合实现了最低的 RMSE（172.4037）。
• 在本研究中，GRU 模型通常优于 LSTM 模型。
• 在 RMSE 和最终损失方面，Adam 优化器优于 NAG，针对 LSTM 和 GRU 都是如此。
• LSTM 配合 Adam 训练损失下降更快，但可能不稳定；GRU 配合 NAG 显示出稳定的收敛，但 RMSE 高于 Adam 变体。
• 在所有结果中，GRU-Adam 是该数据集股票价格预测的最强预测模型。