[论文解读] The Error is the Feature: how to Forecast Lightning using a Model Prediction Error

Christian Schön, Jens Dittrich+1 more|arXiv (Cornell University)|Nov 23, 2018

Meteorological Phenomena and Simulations参考文献 19被引用 10

一句话总结

本文提出了一种新颖的闪电临近预报方法，利用应用于卫星图像的光流算法预测误差作为机器学习模型的关键特征。通过将运动估计误差视为对流活动的指示，该方法在15分钟内闪电预报的准确率最高可达96%，五小时预报的性能仍保持在83%以上，尽管误报率仍是实际应用中的挑战。

ABSTRACT

Despite the progress within the last decades, weather forecasting is still a challenging and computationally expensive task. Current satellite-based approaches to predict thunderstorms are usually based on the analysis of the observed brightness temperatures in different spectral channels and emit a warning if a critical threshold is reached. Recent progress in data science however demonstrates that machine learning can be successfully applied to many research fields in science, especially in areas dealing with large datasets. We therefore present a new approach to the problem of predicting thunderstorms based on machine learning. The core idea of our work is to use the error of two-dimensional optical flow algorithms applied to images of meteorological satellites as a feature for machine learning models. We interpret that optical flow error as an indication of convection potentially leading to thunderstorms and lightning. To factor in spatial proximity we use various manual convolution steps. We also consider effects such as the time of day or the geographic location. We train different tree classifier models as well as a neural network to predict lightning within the next few hours (called nowcasting in meteorology) based on these features. In our evaluation section we compare the predictive power of the different models and the impact of different features on the classification result. Our results show a high accuracy of 96% for predictions over the next 15 minutes which slightly decreases with increasing forecast period but still remains above 83% for forecasts of up to five hours. The high false positive rate of nearly 6% however needs further investigation to allow for an operational use of our approach.

研究动机与目标

• 开发一种基于机器学习的新型短时闪电预测方法，利用卫星图像数据。
• 探究光流预测误差是否可作为检测导致雷暴的对流发展的有意义特征。
• 评估基于树的分类器和神经网络在使用误差特征及其他卫星衍生特征进行闪电预报时的性能。
• 评估空间卷积、通道多样性及时间特征对从15分钟到五小时预报时间范围内模型准确率的影响。
• 解决模型中观察到的高误报率问题，该问题目前限制了其在实际中的部署。

提出的方法

• 核心方法包括在连续卫星图像之间计算二维光流以估计运动，然后将残差误差（预测与实际运动之间的差异）作为垂直运动和对流的代理。
• 这些光流误差通过使用大卷积核尺寸的手动卷积层处理，以捕捉预示雷暴发展的空间模式。
• 构建了全面的特征集，包括光流误差特征（在各光谱通道上归一化）以及额外的气象特征（如一天中的时间、地理位置）。
• 使用二元交叉熵损失和早停法训练基于树的模型（随机森林、XGBoost）和全连接前馈神经网络（使用Leaky ReLU和Sigmoid激活函数）。
• 神经网络训练中，特征被归一化至[0,1]区间，数据不平衡通过使用平衡测试集来处理，避免使用卷积神经网络以降低对多数类的过拟合风险。
• 模型评估使用准确率、AUC和ROC曲线，覆盖从15分钟到五小时的预报偏移时间，并与文献中的先前工作进行对比。

实验结果

研究问题

• RQ1 地球静止卫星图像上光流算法的预测误差能否作为对流发展导致闪电的可靠指标？
• RQ2 特别是使用大卷积核尺寸时，不同的空间卷积策略如何影响闪电临近预报模型的预测性能？
• RQ3 多光谱卫星通道和辅助特征（如一天中的时间、地理位置）在不同预报时间范围内在多大程度上提升了模型准确率？
• RQ4 在此数据量小、类别高度不平衡的设定下，基于树的模型与深度神经网络的性能如何比较？
• RQ5 尽管整体准确率较高，为何误报率仍居高不下？这又该如何缓解？

主要发现

• 表现最佳的模型（随机森林RF2）在预测未来15分钟内闪电时达到96%的准确率，五小时预报的准确率下降至83.87%。
• 使用大卷积核尺寸的卷积显著提升了模型准确率，尤其在短时预报中，表明捕捉大尺度大气模式的重要性。
• 引入非误差相关的卫星特征（如亮度温度差）使准确率超越仅使用误差的模型，15分钟预报达到峰值96%。
• 神经网络（NN1）表现出具有竞争力的性能，但其表现仍不及随机森林模型，表明在该高类别不平衡、低数据量场景下，基于树的模型可能更具鲁棒性。
• RF2模型在两小时预报偏移时间的AUC为0.94，表明其具有强大的判别能力，并在精确率-召回率平衡方面显著优于先前方法。
• 尽管准确率很高，误报率仍维持在约6%，作者将其识别为实际部署的主要障碍，并作为未来工作的重点。