[论文解读] Probing the limit of hydrologic predictability with the Transformer network

Jiangtao Liu, Yuchen Bian+1 more|arXiv (Cornell University)|Jun 21, 2023

Hydrological Forecasting Using AI被引用 7

一句话总结

本研究探讨了Transformer网络在CAMELS数据集上用于日尺度流量预测的适用性，将原始Transformer与无循环变体与LSTM进行比较。尽管原始Transformer因与水文动力学的马尔可夫性不兼容而表现不佳，但无循环变体的性能与LSTM相当，表明基于注意力机制的架构在水文建模中未来具有改进潜力。

ABSTRACT

For a number of years since its introduction to hydrology, recurrent neural networks like long short-term memory (LSTM) have proven remarkably difficult to surpass in terms of daily hydrograph metrics on known, comparable benchmarks. Outside of hydrology, Transformers have now become the model of choice for sequential prediction tasks, making it a curious architecture to investigate. Here, we first show that a vanilla Transformer architecture is not competitive against LSTM on the widely benchmarked CAMELS dataset, and lagged especially for the high-flow metrics due to short-term processes. However, a recurrence-free variant of Transformer can obtain mixed comparisons with LSTM, producing the same Kling-Gupta efficiency coefficient (KGE), along with other metrics. The lack of advantages for the Transformer is linked to the Markovian nature of the hydrologic prediction problem. Similar to LSTM, the Transformer can also merge multiple forcing dataset to improve model performance. While the Transformer results are not higher than current state-of-the-art, we still learned some valuable lessons: (1) the vanilla Transformer architecture is not suitable for hydrologic modeling; (2) the proposed recurrence-free modification can improve Transformer performance so future work can continue to test more of such modifications; and (3) the prediction limits on the dataset should be close to the current state-of-the-art model. As a non-recurrent model, the Transformer may bear scale advantages for learning from bigger datasets and storing knowledge. This work serves as a reference point for future modifications of the model.

研究动机与目标

• 评估Transformer是否能在日尺度流量预测任务中超越LSTM等成熟的RNN模型。
• 探究尽管在其他序列任务中表现成功，Transformer为何在水文领域表现不佳。
• 探索架构改进措施（尤其是无循环变体）是否可提升Transformer在水文建模中的性能。
• 通过最先进的深度学习模型，探究水文可预测性的理论与实际极限。
• 评估多强迫输入融合在提升模型泛化能力与性能方面的作用。

提出的方法

• 在CAMELS数据集上训练标准（原始）Transformer编码器-解码器架构，用于日尺度流量预测。
• 实现了一种无循环Transformer变体，移除了循环连接，完全依赖自注意力机制。
• 使用标准水文指标（包括Kling-Gupta效率，KGE）在低流量和高流量条件下比较模型性能。
• 评估模型整合多种气象强迫输入（如降水、温度）以提升预测准确性的能力。
• 分析注意力模式与模型行为，以理解与水文系统马尔可夫性相关的局限性。
• 采用与先前基准（如CAMELS）相同的训练、验证和测试划分，以确保与最先进LSTM模型的公平比较。

实验结果

研究问题

• RQ1 原始Transformer架构是否能在CAMELS基准上实现优于LSTM的日尺度流量预测性能？
• RQ2 尽管在其他序列任务中表现成功，为何标准Transformer在水文预测中无法超越LSTM？
• RQ3 从Transformer架构中移除循环连接是否能提升其在水文时间序列上的性能？
• RQ4 多强迫输入融合在多大程度上能增强Transformer在水文预测中的能力？
• RQ5 通过最先进的深度学习模型，水文可预测性的理论与实际极限是什么？

主要发现

• 原始Transformer在性能上逊于LSTM，尤其在高流量指标上，原因是其难以有效建模短期水文动态。
• 无循环Transformer变体的性能与LSTM相当，匹配了Kling-Gupta效率（KGE）及其他关键指标。
• 原始Transformer未取得性能提升的原因在于水文系统的马尔可夫性，后者更有利于具有记忆能力的LSTM等模型。
• Transformer与LSTM均从多强迫输入融合中获益，表明数据融合是提升模型性能的关键因素。
• 结果表明，当前CAMELS数据集上的最先进模型已接近水文可预测性的理论极限。
• 无循环Transformer在后续研究中展现出潜力，具有在更大数据集上学习的规模优势，并可在无循环结构下存储长期依赖关系。