[论文解读] Multivariate, Multistep Forecasting, Reconstruction and Feature Selection of Ocean Waves via Recurrent and Sequence-to-Sequence Networks

Mohammad Pirhooshyaran, Lawrence Snyder|arXiv (Cornell University)|Jun 1, 2019

Oceanographic and Atmospheric Processes参考文献 57被引用 9

一句话总结

该论文提出了一种新颖的序列到序列深度学习框架，结合贝叶斯超参数优化与弹性网络正则化，用于海洋波浪特征的多变量、多步预测、重构与特征选择——具体为显著波高（Hs）和波浪能量通量（P）。该方法在重构缺失Hs数据方面优于最先进方法，且表明采用弹性网络的深层循环架构可提升特征选择与预测精度，Adam与AMSGrad优化算法展现出更优的优化稳定性。

ABSTRACT

This article explores the concepts of ocean wave multivariate multistep forecasting, reconstruction and feature selection. We introduce recurrent neural network frameworks, integrated with Bayesian hyperparameter optimization and Elastic Net methods. We consider both short- and long-term forecasts and reconstruction, for significant wave height and output power of the ocean waves. Sequence-to-sequence neural networks are being developed for the first time to reconstruct the missing characteristics of ocean waves based on information from nearby wave sensors. Our results indicate that the Adam and AMSGrad optimization algorithms are the most robust ones to optimize the sequence-to-sequence network. For the case of significant wave height reconstruction, we compare the proposed methods with alternatives on a well-studied dataset. We show the superiority of the proposed methods considering several error metrics. We design a new case study based on measurement stations along the east coast of the United States and investigate the feature selection concept. Comparisons substantiate the benefit of utilizing Elastic Net. Moreover, case study results indicate that when the number of features is considerable, having deeper structures improves the performance.

研究动机与目标

• 开发一种稳健的深度学习框架，用于海洋波浪特征（如显著波高Hs与波浪能量通量P）的多变量、多步预测。
• 通过序列到序列网络利用附近浮标站的信息，解决缺失波浪数据的重构挑战。
• 将弹性网络正则化整合到循环架构中，从多变量数据集中识别最具预测力的输入特征。
• 使用Spearmint贝叶斯优化评估并优化模型性能，并对比多种优化算法（Adam、AMSGrad、RMSProp、SGD）。

提出的方法

• 提出两种核心架构：带全连接层的单层或多层次长短期记忆网络（LSTM+FCL），以及具有独立编码器与解码器LSTM的序列到序列（seq2seq）模型。
• 引入一种基于训练轮次的调度训练方案，结合教师强制与渐进退火，以提升时间序列预测中训练的稳定性和泛化能力。
• 采用Spearmint贝叶斯优化结合高斯过程期望改进（GP-EI）方法，对学习率、L1/L2正则化及网络深度等超参数进行调优。
• 在最终全连接层中引入弹性网络正则化，通过将不相关输入特征收缩至零，同时保留重要特征，实现特征选择。
• 采用多种损失函数（RMSE、HUBER、MAAPE）对预测与重构精度进行综合评估。
• 使用来自美国东海岸NOAA浮标的新整理数据集，每站包含53个特征，用于多变量回归与特征选择实验。

实验结果

研究问题

• RQ1 序列到序列循环网络是否能仅利用附近浮标测量数据，有效重构缺失的显著波高（Hs）与波浪能量通量（P）数据？
• RQ2 在多变量海洋波浪预测中，引入弹性网络正则化如何改善特征选择与模型可解释性？
• RQ3 在海洋波浪时间序列上，Adam、AMSGrad、RMSProp或SGD中哪种优化算法能实现最稳定且准确的训练性能？
• RQ4 相较于单层模型，使用更深的循环架构（多层LSTM）是否能带来更好的预测与重构性能？
• RQ5 在无直接测量数据的情况下，仅使用相邻浮标站的Hs数据训练的模型，能在多大程度上重构目标浮标站的Hs？

主要发现

• seqtoseq+EN模型在Hs重构方面取得最佳整体性能，RMSE为0.459 m，MAAPE为0.264，优于所有基线模型（包括随机森林）。
• Adam与AMSGrad优化算法在多次实验中均展现出优于RMSProp与SGD的鲁棒性与收敛稳定性。
• 多层LSTM+FCL与seqtoseq模型始终优于单层变体，尤其在长期预测与重构任务中表现更优。
• 弹性网络正则化成功将非零特征数量减少至58.2个，提升了模型可解释性，同时保持高精度。
• 仅使用相邻浮标站的Hs数据，模型即实现了高精度重构，表明仅Hs数据已足够用于目标浮标站Hs的重构。
• 通过Spearmint进行的贝叶斯超参数调优识别出最优配置，λ1与λ2在[0.001, 0.01]范围内时，seq2seq网络性能最佳。