[论文解读] TempEE: Temporal-Spatial Parallel Transformer for Radar Echo Extrapolation Beyond Auto-Regression

Shengchao Chen, Ting Shu+3 more|arXiv (Cornell University)|Apr 27, 2023

Meteorological Phenomena and Simulations被引用 8

一句话总结

TempEE 引入了一种一步式、非自回归的 Transformer 模型，具备时间和空间编码器，以及时空解码器，用于外推雷达回波，解决非平稳运动和稀疏回波的问题。

ABSTRACT

Meteorological radar reflectivity data (i.e. radar echo) significantly influences precipitation prediction. It can facilitate accurate and expeditious forecasting of short-term heavy rainfall bypassing the need for complex Numerical Weather Prediction (NWP) models. In comparison to conventional models, Deep Learning (DL)-based radar echo extrapolation algorithms exhibit higher effectiveness and efficiency. Nevertheless, the development of reliable and generalized echo extrapolation algorithm is impeded by three primary challenges: cumulative error spreading, imprecise representation of sparsely distributed echoes, and inaccurate description of non-stationary motion processes. To tackle these challenges, this paper proposes a novel radar echo extrapolation algorithm called Temporal-Spatial Parallel Transformer, referred to as TempEE. TempEE avoids using auto-regression and instead employs a one-step forward strategy to prevent cumulative error spreading during the extrapolation process. Additionally, we propose the incorporation of a Multi-level Temporal-Spatial Attention mechanism to improve the algorithm's capability of capturing both global and local information while emphasizing task-related regions, including sparse echo representations, in an efficient manner. Furthermore, the algorithm extracts spatio-temporal representations from continuous echo images using a parallel encoder to model the non-stationary motion process for echo extrapolation. The superiority of our TempEE has been demonstrated in the context of the classic radar echo extrapolation task, utilizing a real-world dataset. Extensive experiments have further validated the efficacy and indispensability of various components within TempEE.

研究动机与目标

• 从雷达回波中动机化短期降水预报，作为成本高昂的数值天气预报模型的高效替代方案。
• 开发能够处理密集与稀疏雷达回波及非平稳运动的基于 Transformer 的框架。
• 通过使用一步前向策略和专门的注意力机制，避免外推过程中的累积误差。
• 通过多层时空注意力提供轻量级的全局-局部回波表示，以提升预报准确性。

提出的方法

• 提出 TempEE，包含三个组成部分：时间编码器（TE）、空间编码器（SE）和时空解码器（TSD）。
• 使用带权重共享的时间多层多头自注意力（Temporal MHSA）以高效捕捉时间相关性。
• 采用并行的时间编码器与空间编码器来建模非平稳运动与稀疏回波分布。
• 在 TSD 中引入反向随机采样以促进学习长期动力学，并使用多层时空注意力（MSTA）来精细化特征。
• 采用轻量级的多层多头自注意力（MSTA），将复杂度从 O(h^2 w^2) 降低到 O(h w g^2 + h^2 w^2 / g'^2)。
• 在实际雷达回波数据集上进行训练和评估，并与基线 DL 及传统方法进行比较。

实验结果

研究问题

• RQ1 TempEE 能否在雷达回波预报中胜过自回归外推方法？
• RQ2 时间编码器和空间编码器如何有助于处理非平稳运动与稀疏回波？
• RQ3 反向随机采样与多层时空注意力是否提升长期动力学的捕捉能力及预测质量？
• RQ4 与传统 MHSA 相比，MSTA 在该任务上的计算效率优势如何？

主要发现

• TempEE 在真实雷达回波数据上展现出比基于自回归的模型更高的外推准确性。
• 并行 TE-SE 编码结构能够有效捕捉密集与稀疏回波的时间与空间相关性。
• 带有反向随机采样和 MSTA 的 TSD 提升了全局-局部信息提取与长期动力学学习。
• 相较于 MHSA，MSTA 大幅降低计算成本，使雷达回波外推更高效。