[论文解读] Spatio-Temporal Super-Resolution Data Assimilation (SRDA) Utilizing Deep Neural Networks with Domain Generalization

Yuki Yasuda, Ryo Onishi|arXiv (Cornell University)|Dec 7, 2022

Meteorological Phenomena and Simulations被引用 4

一句话总结

本文提出了一种物理信息深度学习框架——时空超分辨率数据同化（4D-SRDA），通过结合低分辨率物理模拟与神经网络，推断高分辨率的大气和海洋状态。通过引入基于超分辨率的混合数据增强（SR-mixup），该方法在分布偏移情况下仍能实现鲁棒且计算高效的超分辨率推理，相较于基线方法在准确率和速度方面表现更优，且计算成本极低。

ABSTRACT

Deep learning has recently gained attention in the atmospheric and oceanic sciences for its potential to improve the accuracy of numerical simulations or to reduce computational costs. Super-resolution is one such technique for high-resolution inference from low-resolution data. This paper proposes a new scheme, called four-dimensional super-resolution data assimilation (4D-SRDA). This framework calculates the time evolution of a system from low-resolution simulations using a physics-based model, while a trained neural network simultaneously performs data assimilation and spatio-temporal super-resolution. The use of low-resolution simulations without ensemble members reduces the computational cost of obtaining inferences at high spatio-temporal resolution. In 4D-SRDA, physics-based simulations and neural-network inferences are performed alternately, possibly causing a domain shift, i.e., a statistical difference between the training and test data, especially in offline training. Domain shifts can reduce the accuracy of inference. To mitigate this risk, we developed super-resolution mixup (SR-mixup)--a data augmentation method for domain generalization. SR-mixup creates a linear combination of randomly sampled inputs, resulting in synthetic data with a different distribution from the original data. The proposed methods were validated using an idealized barotropic ocean jet with supervised learning. The results suggest that the combination of 4D-SRDA and SR-mixup is effective for robust inference cycles. This study highlights the potential of super-resolution and domain-generalization techniques, in the field of data assimilation, especially for the integration of physics-based and data-driven models.

研究动机与目标

• 开发一种计算高效的高分辨率推断方法，用于大气和海洋模拟，基于低分辨率物理模型。
• 解决因训练数据与推理数据间统计差异导致的数据同化中的领域偏移问题。
• 通过领域泛化提升混合物理信息与数据驱动建模中神经网络推断的鲁棒性。
• 与传统基于集合的同化方法相比，降低计算成本，同时保持高分辨率精度。
• 通过探索基于图像块的训练策略，实现在大规模3D地球系统数据上的实际部署。

提出的方法

• 该框架通过交替执行物理模拟与神经网络推理，从低分辨率输入生成高分辨率时空状态。
• 采用端到端训练的深度神经网络，同时执行超分辨率与数据同化任务，使用高分辨率参考数据进行监督学习。
• 引入SR-mixup作为数据增强技术，通过线性组合随机输入对生成合成训练样本，提升领域泛化能力。
• 神经网络架构结合卷积层、像素洗牌上采样与基于Transformer的注意力模块，实现有效的特征提取与分辨率增强。
• 该方法避免了集合模拟，与传统集合卡尔曼滤波器（EnKFs）相比显著降低了计算成本。
• 当前实现中，训练在完整的2D流场上进行，未来工作将针对3D系统扩展至基于图像块的训练策略。

实验结果

研究问题

• RQ1 在无需集合模拟的情况下，深度神经网络是否能有效在物理信息框架中执行时空超分辨率与数据同化？
• RQ2 训练与推理数据之间的领域偏移如何影响混合物理-数据模型中神经网络推断的鲁棒性？
• RQ3 SR-mixup在地球系统建模中在分布偏移下对泛化能力的提升与误差降低程度如何？
• RQ4 4D-SRDA的计算成本与传统基于集合的同化方法（如EnKF）相比如何？
• RQ5 所提出的框架是否可通过基于图像块的训练策略扩展至3D地球系统数据？

主要发现

• 4D-SRDA框架在计算成本显著低于集合卡尔曼滤波器（EnKFs）的同时，实现了与高分辨率EnKF相当的精度，完成高分辨率推断。
• 在观测稀疏条件下，ST-SRDA的误差与HR EnKF相当，表明在观测受限条件下接近最优性能。
• ST-SRDA的运行时间远短于EnKFs，证明了其计算效率。
• 未使用SR-mixup时，误差显著上升，证实通过SR-mixup实现的领域泛化对于在分布偏移下实现鲁棒推断至关重要。
• 该方法在不同观测密度下均表现出一致性能，对噪声以及训练与测试数据间的统计差异具有鲁棒性。
• 该框架为基于集合的方法提供了可扩展且高效的替代方案，通过基于图像块的训练策略，具备扩展至3D大气与海洋模型的潜力。