[论文解读] Spatio-Temporal Wind Speed Forecasting using Graph Networks and Novel Transformer Architectures

Lars Ødegaard Bentsen, Narada Dilp Warakagoda+2 more|arXiv (Cornell University)|Aug 29, 2022

Energy Load and Power Forecasting被引用 5

一句话总结

本文提出了一种新颖的时空风速预测框架，结合图神经网络（GNN）与改进的Transformer架构，用于建模挪威大陆架上14个海上站点的空间依赖性和时间动态。Fast Fourier Transformer（FFTransformer）是一种新型架构，通过小波变换和基于FFT的注意力机制分离趋势与周期成分，在所有基线模型中表现最优，尤其在4小时预测中优势显著，展示了多步风速预测的最先进性能。

ABSTRACT

This study focuses on multi-step spatio-temporal wind speed forecasting for the Norwegian continental shelf. The study aims to leverage spatial dependencies through the relative physical location of different measurement stations to improve local wind forecasts. Our multi-step forecasting models produce either 10-minute, 1- or 4-hour forecasts, with 10-minute resolution, meaning that the models produce more informative time series for predicted future trends. A graph neural network (GNN) architecture was used to extract spatial dependencies, with different update functions to learn temporal correlations. These update functions were implemented using different neural network architectures. One such architecture, the Transformer, has become increasingly popular for sequence modelling in recent years. Various alterations have been proposed to better facilitate time series forecasting, of which this study focused on the Informer, LogSparse Transformer and Autoformer. This is the first time the LogSparse Transformer and Autoformer have been applied to wind forecasting and the first time any of these or the Informer have been formulated in a spatio-temporal setting for wind forecasting. By comparing against spatio-temporal Long Short-Term Memory (LSTM) and Multi-Layer Perceptron (MLP) models, the study showed that the models using the altered Transformer architectures as update functions in GNNs were able to outperform these. Furthermore, we propose the Fast Fourier Transformer (FFTransformer), which is a novel Transformer architecture based on signal decomposition and consists of two separate streams that analyse the trend and periodic components separately. The FFTransformer and Autoformer were found to achieve superior results for the 10-minute and 1-hour ahead forecasts, with the FFTransformer significantly outperforming all other models for the 4-hour ahead forecasts.

研究动机与目标

• 提升海上风电能源可靠性与电网并网的短期风速预测。
• 通过引入专用注意力机制，解决标准Transformer在长时程、多步风速预测中的局限性。
• 在时空GNN框架中评估新型Transformer变体（LogSparse、Informer、Autoformer）及新架构FFTransformer的有效性。
• 证明通过小波变换与频域注意力进行信号分解可提升长程预测性能。
• 提供所有模型（包括FFTransformer）的开源实现，以支持可复现性与进一步研究。

提出的方法

• 使用图神经网络（GNN）基于物理距离建模14个海上风力发电站之间的空间关系。
• 采用不同的基于Transformer的更新函数建模时间依赖性，包括标准Transformer、LogSparse、Informer、Autoformer以及一种新型FFTransformer。
• FFTransformer通过小波变换将风速信号分解为趋势与周期成分，分别使用基于FFT的注意力机制捕捉周期性模式，以及标准自注意力机制捕捉趋势。
• GNN框架支持在10分钟分辨率下对10分钟、1小时和4小时预测时延进行多步预测。
• 通过MAE、RMSE以及推导出的功率预测误差（单位：kW与kWh）评估模型性能，以评估对电网的影响。
• 通过消融实验验证图连接的作用，结果表明移除连接会降低性能，尤其在长时程预测中更为明显。

实验结果

研究问题

• RQ1 与标准LSTM和MLP相比，改进的Transformer架构是否能提升多步时空风速预测性能？
• RQ2 所提出的FFTransformer（采用信号分解与双流注意力机制）是否在长时程风速预测中优于现有Transformer变体？
• RQ3 远距离海上站点之间的空间相关性在多大程度上影响预测精度，尤其是在长时程预测中？
• RQ4 不同注意力机制（如ProbSparse、LogSparse）相较于标准Transformer在风速预测中是否显著提升性能？
• RQ5 预测精度对风力发电预测的物理影响如何，特别是在能量产出与电网稳定性方面？

主要发现

• FFTransformer在整体性能上表现最佳，尤其在4小时预测中显著优于所有其他模型。
• 在10分钟和1小时预测中，Autoformer与FFTransformer为表现最佳的模型，其中FFTransformer在4小时预测中功率预测精度较其他模型提升5%。
• LogSparse Transformer与Informer相较于标准Transformer和MLP基线模型有轻微改进，主要得益于增强的注意力机制。
• 空间相关性在1小时与4小时预测中最为有益，长时程预测更受益于远距离站点间的长程图连接。
• 在输入数据中移除图连接会降低预测性能，证实GNN有效利用空间依赖性以提升局部预测精度。
• 本研究证明，FFTransformer中采用的信号分解与频域注意力机制，能够更优地建模风速时间序列中的长期趋势与周期性模式。