[论文解读] Spatiotemporal Attention Networks for Wind Power Forecasting

Xingbo Fu, Feng Gao+3 more|arXiv (Cornell University)|Sep 14, 2019

Energy Load and Power Forecasting参考文献 16被引用 4

一句话总结

该论文提出了一种时空注意力网络（STAN）用于风力发电预测，该网络结合多头自注意力机制以建模风力发电场之间非欧几里得空间相关性，并采用带有全局注意力机制的序列到序列模型以捕捉时间依赖性。与基线方法相比，该框架在预测精度方面表现更优，证明了注意力机制在建模风力发电数据中复杂时空模式方面的有效性。

ABSTRACT

Wind power is one of the most important renewable energy sources and accurate wind power forecasting is very significant for reliable and economic power system operation and control strategies. This paper proposes a novel framework with spatiotemporal attention networks (STAN) for wind power forecasting. This model captures spatial correlations among wind farms and temporal dependencies of wind power time series. First of all, we employ a multi-head self-attention mechanism to extract spatial correlations among wind farms. Then, temporal dependencies are captured by the Sequence-to-Sequence (Seq2Seq) model with a global attention mechanism. Finally, experimental results demonstrate that our model achieves better performance than other baseline approaches. Our work provides useful insights to capture non-Euclidean spatial correlations.

研究动机与目标

• 通过建模风力发电场数据中的复杂时空依赖关系，提升风力发电预测精度。
• 解决捕捉地理位置分散的风力发电场之间非欧几里得空间相关性的挑战。
• 将时间序列建模与空间注意力机制相结合，以提升预测性能。
• 为可再生能源预测提供一种可扩展且高效的深度学习框架。

提出的方法

• 采用多头自注意力机制，将风力发电场视为非欧几里得图中的节点，以建模其间的空间相关性。
• 使用带有全局注意力机制的序列到序列（Seq2Seq）架构，以建模风力发电时间序列中的长期时间依赖性。
• 将空间建模与时间建模组件整合为一个统一的端到端可训练框架。
• 利用注意力机制，在预测过程中动态加权不同风力发电场和时间步的重要性。
• 使用来自多个风力发电场的空间和时间标签数据对模型进行训练。

实验结果

研究问题

• RQ1 自注意力机制能否有效建模地理位置分散的风力发电场之间的非欧几里得空间关系？
• RQ2 带有全局注意力机制的Seq2Seq模型在多大程度上能捕捉风力发电序列中的长程时间依赖性？
• RQ3 将空间注意力与时间注意力相结合，是否能显著提升预测精度，优于独立的模型？
• RQ4 所提出的STAN框架在风力发电预测任务中与传统基线方法相比表现如何？

主要发现

• STAN模型在多种基线模型（包括传统机器学习与深度学习方法）之上均展现出更优的预测性能。
• 将多头自注意力机制用于空间建模，显著提升了精度，有效捕捉了发电场之间的复杂关系。
• 带有全局注意力机制的Seq2Seq模型能有效建模风力发电序列中的长期时间模式。
• 消融实验确认，空间注意力与时间注意力组件均对整体性能提升有显著贡献。