[论文解读] Simple Baseline for Weather Forecasting Using Spatiotemporal Context Aggregation Network

Minseok Seo, Doyi Kim+4 more|arXiv (Cornell University)|Dec 6, 2022

Flood Risk Assessment and Management被引用 4

一句话总结

该论文提出 SIANet，一种仅使用卫星图像和 3D-CNN 的简单而高效的时空上下文聚合网络，用于短期天气预报，无需多模型集成或微调。通过利用核分解和一种新颖的时空优化模块，SIANet 在 W4C'22 挑战赛的 5 项基准中的 4 项上达到最先进性能，表明在深度学习天气预报中，简单性可与复杂性相媲美。

ABSTRACT

Traditional weather forecasting relies on domain expertise and computationally intensive numerical simulation systems. Recently, with the development of a data-driven approach, weather forecasting based on deep learning has been receiving attention. Deep learning-based weather forecasting has made stunning progress, from various backbone studies using CNN, RNN, and Transformer to training strategies using weather observations datasets with auxiliary inputs. All of this progress has contributed to the field of weather forecasting; however, many elements and complex structures of deep learning models prevent us from reaching physical interpretations. This paper proposes a SImple baseline with a spatiotemporal context Aggregation Network (SIANet) that achieved state-of-the-art in 4 parts of 5 benchmarks of W4C22. This simple but efficient structure uses only satellite images and CNNs in an end-to-end fashion without using a multi-model ensemble or fine-tuning. This simplicity of SIANet can be used as a solid baseline that can be easily applied in weather forecasting using deep learning.

研究动机与目标

• 开发一种简单高效的深度学习基线模型，用于短期天气预报，避免复杂的训练流程。
• 减少对多模型集成、微调以及辅助数据（如 NWP 或地理坐标）的依赖。
• 仅使用 3D-CNN 和端到端训练，提升天气预测中的时空建模能力。
• 证明仅通过最小化架构结合核分解与上下文聚合，即可实现最先进性能。

提出的方法

• SIANet 仅以卫星图像（11 个光谱波段）作为输入，不使用任何额外的静态数据，如纬度、经度或地形信息。
• 模型完全由 3D 卷积层构成，通过核分解将 3D 卷积核分解为 2D 空间与 1D 时间分量，以降低 FLOPs。
• 引入一个大感受野的空间上下文聚合模块作为基本模块，增强长距离时空依赖学习能力。
• 采用受马尔可夫链启发的时空优化模块，以端到端方式在时间步上逐步优化预测结果。
• 使用基于雷达反射率推导的雨强图，通过二元交叉熵损失进行端到端训练。
• 消融实验验证了各组件的贡献：阈值处理、中心裁剪、时空模块与大感受野上下文聚合模块。

实验结果

研究问题

• RQ1 仅基于 3D-CNN 的简单模型是否能在无需多模型集成或微调的情况下实现天气预报的最先进性能？
• RQ2 在 3D-CNN 天气预报中，核分解在降低 FLOPs 的同时，对性能保持效果如何？
• RQ3 大感受野空间上下文聚合模块在短期降水预测中的时空建模能力提升程度如何？
• RQ4 与标准回归头相比，端到端的时空优化模块是否能显著提升预测精度？
• RQ5 仅在卫星数据上训练的模型是否能超越依赖辅助数据（如 NWP 输出）的更复杂模型？

主要发现

• SIANet 在 W4C'22 挑战赛的 5 项基准中，有 4 项达到最先进性能，最佳配置的 mIoU 达到 0.465。
• 消融实验表明，逐步添加 CenterCrop、STM 和 LCAM 等组件，mIoU 相较基线最高提升 12.7 个百分点。
• 模型在时间步上表现出动态预测行为，为 8 小时预报时域生成了各不相同的输出，而非单一平均预测。
• 定性结果表明，模型成功捕捉了云系移动模式，预测结果随风暴系统运动方向演变。
• 尽管性能优异，模型在雨强分类上仍存在不足，对轻至中雨（阈值 0.2 mm/h）存在过预测现象，表明未来工作需引入多分类或回归损失。
• 核分解显著降低了 FLOPs，同时保持高性能，证明其在大规模天气数据训练中的有效性。