[论文解读] Transfer learning to improve streamflow forecasts in data sparse regions

Roland Oruche, Lisa Egede+2 more|arXiv (Cornell University)|Dec 6, 2021

Hydrological Forecasting Using AI被引用 11

一句话总结

本文提出一种使用微调长短期记忆（LSTM）网络的迁移学习框架，以改善肯尼亚上塔纳河流域等数据稀疏区域的径流预报。通过将知识从一个数据丰富的大规模源域（美国CAMELS）迁移到一个小规模的目标域数据集（TNC肯尼亚），该方法结合了静态流域特征和动态气象输入，显著提升了标准LSTM模型的预测性能。

ABSTRACT

Effective water resource management requires information on water availability, both in terms of quality and quantity, spatially and temporally. In this paper, we study the methodology behind Transfer Learning (TL) through fine-tuning and parameter transferring for better generalization performance of streamflow prediction in data-sparse regions. We propose a standard recurrent neural network in the form of Long Short-Term Memory (LSTM) to fit on a sufficiently large source domain dataset and repurpose the learned weights to a significantly smaller, yet similar target domain datasets. We present a methodology to implement transfer learning approaches for spatiotemporal applications by separating the spatial and temporal components of the model and training the model to generalize based on categorical datasets representing spatial variability. The framework is developed on a rich benchmark dataset from the US and evaluated on a smaller dataset collected by The Nature Conservancy in Kenya. The LSTM model exhibits generalization performance through our TL technique. Results from this current experiment demonstrate the effective predictive skill of forecasting streamflow responses when knowledge transferring and static descriptors are used to improve hydrologic model generalization in data-sparse regions.

研究动机与目标

• 解决由于历史水文监测数据有限，导致数据稀疏区域径流预测精度差的问题。
• 克服传统水文模型（如SWAT）的局限性，后者需要专家配置，且在数据有限的环境中难以部署。
• 开发一种深度学习框架，通过迁移学习实现在地理和气候差异显著区域之间的泛化能力。
• 通过仅需少量本地数据，为发展中国家的水基金和利益相关方提供可靠径流预报，提升预测性能。
• 展示在迁移学习设置中，结合静态流域特征与动态气象输入在水文时间序列预报中的有效性。

提出的方法

• 在美国CAMELS数据集上训练一个多层长短期记忆（LSTM）网络，该数据集是一个大规模基准数据集，包含丰富的气象和流域属性数据。
• 在肯尼亚大自然保护协会（TNC）的小型目标数据集上微调预训练的LSTM模型，同时使用动态输入（如降水、气温）和静态流域特征描述（如高程、土壤类型、土地利用）。
• 通过将流域特征的类别描述编码为空间可变性表示，分离空间与时间建模组件，以提升在不同区域间的泛化能力。
• 在训练和微调过程中，使用验证指标优化模型权重，以确保对目标域的鲁棒性和可迁移性。
• 在多个流域上复制微调后的模型，以评估其在目标区域内未见流域上的泛化性能。
• 采用标准化评估协议，比较四种条件：标准LSTM、无静态特征的迁移学习、含静态特征的迁移学习，以及无迁移学习。

实验结果

研究问题

• RQ1 能否从数据丰富的源域（美国CAMELS）迁移知识，以提升数据稀疏目标区域（肯尼亚）的径流预报性能？
• RQ2 在数据有限的环境中，静态流域特征在多大程度上提升了LSTM模型的泛化能力？
• RQ3 与标准LSTM或无静态特征的迁移学习相比，迁移学习与静态特征结合在预测准确性方面表现如何？
• RQ4 当从地理和气候差异显著的源域向目标区域迁移知识时，负面迁移的影响是什么？
• RQ5 一个单一的微调LSTM模型能否在发展中国家多个无观测或观测稀疏的流域中有效泛化？

主要发现

• 与标准LSTM模型相比，增强迁移学习的LSTM（LSTM_TL）模型在TNC肯尼亚数据集上的径流预测表现显著更优，展现出更高的真实性和准确性。
• 在迁移学习过程中引入静态流域特征，显著提升了预测性能，尤其在训练数据有限的区域表现更明显。
• 通过利用美国CAMELS源域的知识，该模型在上塔纳河流域不同流域之间实现了更好的泛化能力，即使目标数据极少。
• 该框架减少了对大量本地数据收集和专家配置的需求，使其适用于水文监测基础设施薄弱的发展中国家。
• 结果表明，结合静态特征的迁移学习可有效缓解水文预报中数据稀疏性和不一致性的影响。
• 该方法在水基金和保护项目中具有应用前景，可为社区和生态系统管理提供更可靠的水资源可用性预测。