[论文解读] TCNFormer: Temporal Convolutional Network Former for Short-Term Wind Speed Forecasting

Abid Hasan Zim, Aquib Iqbal+3 more|arXiv (Cornell University)|Aug 27, 2024

Energy Load and Power Forecasting被引用 4

一句话总结

本文提出TCNFormer，一种结合时间卷积网络（TCN）与双注意力Transformer编码器的混合深度学习模型，用于12小时短期风速预测。通过整合因果时间多头自注意力（CT-MSA）与时间外部注意力（TEA），TCNFormer比最先进模型更有效地捕捉长程依赖关系与时空模式，在孟加拉国真实风速数据上实现了更高的预测精度。

ABSTRACT

Global environmental challenges and rising energy demands have led to extensive exploration of wind energy technologies. Accurate wind speed forecasting (WSF) is crucial for optimizing wind energy capture and ensuring system stability. However, predicting wind speed remains challenging due to its inherent randomness, fluctuation, and unpredictability. This study proposes the Temporal Convolutional Network Former (TCNFormer) for short-term (12-hour) wind speed forecasting. The TCNFormer integrates the Temporal Convolutional Network (TCN) and transformer encoder to capture the spatio-temporal features of wind speed. The transformer encoder consists of two distinct attention mechanisms: causal temporal multi-head self-attention (CT-MSA) and temporal external attention (TEA). CT-MSA ensures that the output of a step derives only from previous steps, i.e., causality. Locality is also introduced to improve efficiency. TEA explores potential relationships between different sample sequences in wind speed data. This study utilizes wind speed data from the NASA Prediction of Worldwide Energy Resources (NASA POWER) of Patenga Sea Beach, Chittagong, Bangladesh (latitude 22.2352° N, longitude 91.7914° E) over a year (six seasons). The findings indicate that the TCNFormer outperforms state-of-the-art models in prediction accuracy. The proposed TCNFormer presents a promising method for spatio-temporal WSF and may achieve desirable performance in real-world applications of wind power systems.

研究动机与目标

• 为应对风速固有的波动性与非线性导致的准确短期风速预测挑战。
• 通过设计更稳健的模型架构，克服现有模型（如RNN的梯度消失问题与Transformer对位置编码的依赖）的局限性。
• 通过在注意力机制中整合因果性、局部性与序列间关系，提升特征学习能力。
• 利用孟加拉国Patenga海滨的真实风速数据，在多种季节条件下评估模型性能。

提出的方法

• TCNFormer模型将时间卷积网络（TCN）与Transformer编码器结合，以保持序列长度并支持因果处理。
• Transformer编码器采用两种注意力机制：因果时间多头自注意力（CT-MSA），通过局部感受野确保因果性并提升效率。
• CT-MSA通过施加自回归约束并引入局部上下文，增强标准多头注意力，改善时间特征学习。
• 时间外部注意力（TEA）利用两个外部记忆单元，建模不同样本序列之间的关系，丰富表示学习。
• 模型在NASA POWER提供的Patenga海滨一年的逐小时风速数据上进行训练，覆盖六个不同季节。
• 消融研究通过在受控实验中以标准多头注意力替换CT-MSA与TEA，验证其贡献。

Figure 1: Govt. considered energy mix for 2041.

实验结果

研究问题

• RQ1 与现有模型相比，结合TCN与Transformer组件的混合架构是否能提升短期风速预测的准确性？
• RQ2 CT-MSA中的因果性与局部性如何影响模型学习风速序列时间依赖关系的能力？
• RQ3 时间外部注意力（TEA）在捕捉风速数据中序列间关系方面，能在多大程度上增强特征表示？
• RQ4 TCNFormer在不同季节模式与多变风况下是否保持高性能？
• RQ5 与标准RNN、CNN及原始Transformer相比，该模型在准确率与计算效率方面表现如何？

主要发现

• TCNFormer在12小时风速预测准确率上优于最先进模型，包括Autoformer、Pyraformer与原始Transformer。
• CT-MSA的引入显著提升性能，尤其在保持因果性与减少信息泄露方面表现突出。
• 移除TEA导致模型性能明显下降，证实其在捕捉序列间关系中的关键作用。
• 消融研究确认CT-MSA与TEA均为关键组件：CT-MSA增强局部时间建模，TEA提升全局特征表示。
• 模型在数据集中全部六个季节均表现出稳健性能，表明其对不同气候与风况具有强泛化能力。
• 与传统RNN及标准Transformer相比，TCNFormer在计算效率方面表现更优，适用于实时风电应用。

Figure 2: Model Overview: TCNFormer.