[论文解读] Stacked transfer learning for tropical cyclone intensity prediction

Ratneel Deo, Rohitash Chandra+1 more|arXiv (Cornell University)|Aug 22, 2017

Tropical and Extratropical Cyclones Research参考文献 17被引用 9

一句话总结

本文提出使用前馈神经网络进行堆叠迁移学习，以利用南印度洋的数据作为源域，提升南太平洋热带气旋强度预测性能。结果表明，气旋持续时间（尤其是超过12天）对模型泛化能力至关重要，而南印度洋数据带来的性能提升可忽略不计，表明尽管气旋特征相似，其迁移能力仍有限。

ABSTRACT

Tropical cyclone wind-intensity prediction is a challenging task considering drastic changes climate patterns over the last few decades. In order to develop robust prediction models, one needs to consider different characteristics of cyclones in terms of spatial and temporal characteristics. Transfer learning incorporates knowledge from a related source dataset to compliment a target datasets especially in cases where there is lack or data. Stacking is a form of ensemble learning focused for improving generalization that has been recently used for transfer learning problems which is referred to as transfer stacking. In this paper, we employ transfer stacking as a means of studying the effects of cyclones whereby we evaluate if cyclones in different geographic locations can be helpful for improving generalization performs. Moreover, we use conventional neural networks for evaluating the effects of duration on cyclones in prediction performance. Therefore, we develop an effective strategy that evaluates the relationships between different types of cyclones through transfer learning and conventional learning methods via neural networks.

研究动机与目标

• 通过来自相关地理区域的迁移学习，提升南太平洋热带气旋强度预测性能。
• 评估南印度洋气旋是否可作为源数据集，用于提升南太平洋目标数据集的泛化性能。
• 研究气旋持续时间（生命周期）对神经网络在强度预测中泛化能力的影响。
• 比较传统神经网络与迁移堆叠集成模型在鲁棒性和预测准确性方面的表现。

提出的方法

• 采用具有反向传播的前馈神经网络（FNN）进行时间序列预测，基于Takens定理的状态空间重构方法，预测气旋风速强度。
• 使用嵌入维数（D）和时间延迟（T）将原始气旋数据转换为适合神经网络输入的格式。
• 通过在源数据（南印度洋）上训练基学习器，并将它们的预测结果与元学习器（堆叠集成）在目标数据（南太平洋洋面）上结合，实现迁移堆叠。
• 使用RMSE和R²指标在覆盖2006–2013年不同持续时间类别的测试集上评估泛化性能。
• 在四个实验中比较性能：（1）同区域训练/测试，（2）跨区域训练/测试，（3）基于持续时间的子集分析，以及（4）以印度洋为源的迁移堆叠。
• 在堆叠中使用逻辑回归作为组合层，与标准堆叠泛化实践保持一致。

实验结果

研究问题

• RQ1 南印度洋的气旋能否作为有效源数据，通过迁移学习提升南太平洋的强度预测性能？
• RQ2 热带气旋的持续时间如何影响神经网络模型在强度预测中的泛化性能？
• RQ3 与传统神经网络相比，迁移堆叠是否在预测准确性和鲁棒性方面表现更优？
• RQ4 在将印度洋气旋数据应用于南太平洋目标领域时，是否存在负面迁移的证据？

主要发现

• 持续时间超过12天的气旋表现出最佳的泛化性能，表明长时间持续的风暴能提供更全面的气旋生命史信息。
• 尽管南印度洋数据集的规模是南太平洋数据集的三倍，但在作为迁移堆叠中的源数据时，并未显著提升泛化性能。
• 未观察到负面迁移——性能保持稳定或略有提升，表明印度洋气旋数据与南太平洋预测具有兼容性和适用性。
• 仅在南太平洋数据上训练的传统神经网络，其性能与迁移堆叠模型相当，表明南太平洋数据本身已足够支持稳健建模。
• 在单一区域数据与合并数据上训练的模型之间，性能差距极小，表明训练数据的区域多样性并未显著提升预测准确性。
• 迁移堆叠并未在性能上带来可测量的提升，表明不同海盆之间的知识迁移信息量不足以超越本地数据所学习到的内容。