[论文解读] PTCT: Patches with 3D-Temporal Convolutional Transformer Network for Precipitation Nowcasting

Ziao Yang, Xiangrui Yang+1 more|arXiv (Cornell University)|Dec 2, 2021

Precipitation Measurement and Analysis被引用 4

一句话总结

该论文提出PTCT，一种新颖的3D-时空卷积Transformer网络，通过将雷达回波帧划分为图像块以克服CNN的归纳偏置，并利用3D-时空卷积捕捉短期时空依赖关系。PTCT通过结合基于图像块的表征与自回归推理，在Radar Echo Guangzhou和HKO-7数据集上实现了最先进性能，实现了高质量的短时强降水临近预报。

ABSTRACT

Precipitation nowcasting is to predict the future rainfall intensity over a short period of time, which mainly relies on the prediction of radar echo sequences. Though convolutional neural network (CNN) and recurrent neural network (RNN) are widely used to generate radar echo frames, they suffer from inductive bias (i.e., translation invariance and locality) and seriality, respectively. Recently, Transformer-based methods also gain much attention due to the great potential of Transformer structure, whereas short-term dependencies and autoregressive characteristic are ignored. In this paper, we propose a variant of Transformer named patches with 3D-temporal convolutional Transformer network (PTCT), where original frames are split into multiple patches to remove the constraint of inductive bias and 3D-temporal convolution is employed to capture short-term dependencies efficiently. After training, the inference of PTCT is performed in an autoregressive way to ensure the quality of generated radar echo frames. To validate our algorithm, we conduct experiments on two radar echo dataset: Radar Echo Guangzhou and HKO-7. The experimental results show that PTCT achieves state-of-the-art (SOTA) performance compared with existing methods.

研究动机与目标

• 解决CNN和RNN在降水临近预报中的局限性，包括归纳偏置和串行计算问题。
• 克服现有基于Transformer的方法在短期依赖建模和非自回归生成方面的不足。
• 通过整合基于图像块的表征与3D-时空卷积，提升雷达回波帧预测质量。
• 实现高保真度、自回归生成未来雷达回波序列，以实现准确的短期降水预报。

提出的方法

• 将输入雷达回波帧划分为非重叠的空间图像块，以消除CNN的平移不变性与局部性约束。
• 在自注意力机制中应用3D-时空卷积操作，以捕捉连续帧之间的短期时间依赖关系。
• 使用在训练期间引入掩码的图像块嵌入模块，以增强特征表征能力与鲁棒性。
• 集成具有多头自注意力机制的时空编码器，以捕捉长程时空依赖关系。
• 采用自回归推理策略，将每一帧的预测结果反馈以生成下一帧，确保时间一致性。
• 端到端训练模型，使用雷达回波序列的重建损失与预测损失。

实验结果

研究问题

• RQ1 基于图像块的表征是否能改善对位置可变雷达回波运动的建模，相比标准CNN？
• RQ2 将3D-时空卷积整合到Transformer架构中，是否能增强雷达回波序列中的短期依赖学习？
• RQ3 自回归推理策略如何影响生成雷达回波帧的质量与时间一致性？
• RQ4 在雷达临近预报中，平衡性能与鲁棒性的最优图像块大小与掩码比例为何？
• RQ5 所提出的PTCT模型在真实雷达回波数据集上相较于现有SOTA方法的性能提升程度如何？

主要发现

• PTCT在Radar Echo Guangzhou和HKO-7数据集上均达到最先进性能，在Radar Echo Guangzhou数据集上SSIM为0.907，CSI为0.531。
• 使用$20\times20$图像块的配置显著优于更小或单图像块配置，证明了图像块划分在消除归纳偏置中的重要性。
• 消融实验证实，位置可变特征与长程依赖关系均至关重要，移除任一均导致性能显著下降。
• 训练期间掩码高达50%的图像块仍能保持强劲性能，表明对缺失或噪声输入数据具有鲁棒性。
• 3D-时空卷积优于2D卷积，CSI绝对提升6.4%（0.531 vs. 0.467），证明其在捕捉短期动态方面的有效性。
• 模型保持良好泛化能力，在推理阶段掩码25%图像块时仍达到POD为0.701，表明其具备强大的重建能力。