[论文解读] Precipitation Forecasting via Multi-Scale Deconstructed ConvLSTM

Xinyu Xiao, Qiuming Kuang+3 more|arXiv (Cornell University)|Dec 15, 2019

Meteorological Phenomena and Simulations参考文献 25被引用 5

一句话总结

本文提出了一种多尺度解构卷积LSTM（MSD-ConvLSTM）模型，通过减少参数量并增强上下文特征融合，提升了降水预报的效率与准确性。通过将标准ConvLSTM门结构分解为全连接层与单通道卷积，并引入多尺度滤波器，该模型在EC和CM数据集上实现了更优的效率与精度，优于当前最先进的方法，在二值化与多等级降雨预测中均表现更优。

ABSTRACT

Numerical Weather Prediction (NWP), is widely used in precipitation forecasting, based on complex equations of atmospheric motion requires supercomputers to infer the state of the atmosphere. Due to the complexity of the task and the huge computation, this methodology has the problems of inefficiency and non-economic. With the rapid development of meteorological technology, the collection of plentiful numerical meteorological data offers opportunities to develop data-driven models for NMP task. In this paper, we consider to combine NWP with deep learning. Firstly, to improve the spatiotemporal modeling of meteorological elements, a deconstruction mechanism and the multi-scale filters are composed to propose a multi-scale deconstructed ConvLSTM (MSD-ConvLSTM). The MSD-ConvLSTM captures and fuses the contextual information by multi-scale filters with low parameter consumption. Furthermore, an encoder-decoder is constructed to encode the features of multiple meteorological elements by deep CNN and decode the spatiotemporal information from different elements by the MSD-ConvLSTM. Our method demonstrates the data-driven way is significance for the weather prediction, which can be confirmed from the experimental results of precipitation forecasting on the European Centre Weather Forecasts (EC) and China Meteorological Forecasts (CM) datasets.

研究动机与目标

• 解决标准ConvLSTM在时空气象建模中计算成本高且特征融合能力有限的问题。
• 通过卷积门结构的解构，在不牺牲性能的前提下减少ConvLSTM的参数量。
• 通过在解构架构中引入多尺度滤波器，增强上下文特征提取能力。
• 设计一个端到端的编码器-解码器框架，有效融合多种气象要素，用于短期降水预报。
• 证明将NWP与深度学习结合的数据驱动方法在实际应用中的可行性与优越性。

提出的方法

• 通过将2D卷积替换为全连接层后接单通道卷积，对标准ConvLSTM门结构进行解构，以减少参数量。
• 引入多尺度卷积模块（mConv），采用具有不同感受野的并行滤波器，以捕捉多尺度上下文信息。
• 提出多尺度解构卷积LSTM（MSD-ConvLSTM），将mConv应用于输入调制门，以增强特征融合。
• 设计编码器-解码器架构：使用DeepLabv3+对多气象要素输入进行特征编码，使用MSD-ConvLSTM进行时空解码。
• 在EC和CM数据集上端到端训练模型，采用像素级交叉熵与IoU-based损失函数。
• 采用混合训练策略，以平衡在类别不平衡数据集上稀有降雨事件与一般模式的学习。

实验结果

研究问题

• RQ1 对ConvLSTM中的卷积结构进行解构，是否能在不降低性能的前提下减少参数量并提升计算效率？
• RQ2 多尺度滤波器是否能增强模型捕捉气象数据中上下文空间特征的能力？
• RQ3 所提出的基于MSD-ConvLSTM的编码器-解码器架构是否在降水预报中优于现有深度学习与NWP方法？
• RQ4 该模型在类别不平衡数据集（如降雨事件稀疏的CM数据集）上的表现如何？
• RQ5 通过该架构将NWP数据与深度学习结合，是否能比传统数值方法实现更准确、更高效的预报？

主要发现

• FC-ConvLSTM变体相比标准ConvLSTM将参数量减少了2/3，每次迭代推理时间缩短2.879 ms，性能下降可忽略。
• sConv-ConvLSTM变体进一步将参数量减少至ConvLSTM的1/4，并在性能与速度上优于FC-ConvLSTM，因能更好地捕捉空间上下文。
• 解构后的ConvLSTM在准确率与mIoU上与标准ConvLSTM相当，但参数量减少至1/3，每次迭代节省2.767 ms。
• 所提出的MSD-ConvLSTM优于所有变体，表明多尺度滤波器显著提升了特征融合与预测精度。
• 在EC和CM数据集上，采用DeepLabv3+与MSD-ConvLSTM的编码器-解码器模型在二值化与多等级降雨预报中均达到最高性能，即使在CM数据集的类别不平衡条件下亦表现优异。
• 可视化结果表明，基于MSD-ConvLSTM的预测结果显著优于SVM、FCN与仅使用DeepLabv3+的模型，证实了其在空间与时间一致性上的显著提升。