[论文解读] SuperBench: A Super-Resolution Benchmark Dataset for Scientific Machine Learning

Pu Ren, N. Benjamin Erichson+5 more|arXiv (Cornell University)|Jun 24, 2023

Advanced Image Processing Techniques被引用 6

一句话总结

SuperBench 引入了科学机器学习（SciML）中超分辨率（SR）的首个标准化基准数据集，包含来自流体动力学、宇宙学和气象学（ERA5）的高分辨率（最高达 2048×2048）数据。该数据集可对 SR 方法在空间重建、物理一致性及退化鲁棒性方面进行严格评估，揭示了基于深度学习的 SR 在保持精细尺度物理特征和约束方面的局限性。

ABSTRACT

Super-resolution (SR) techniques aim to enhance data resolution, enabling the retrieval of finer details, and improving the overall quality and fidelity of the data representation. There is growing interest in applying SR methods to complex spatiotemporal systems within the Scientific Machine Learning (SciML) community, with the hope of accelerating numerical simulations and/or improving forecasts in weather, climate, and related areas. However, the lack of standardized benchmark datasets for comparing and validating SR methods hinders progress and adoption in SciML. To address this, we introduce SuperBench, the first benchmark dataset featuring high-resolution datasets, including data from fluid flows, cosmology, and weather. Here, we focus on validating spatial SR performance from data-centric and physics-preserved perspectives, as well as assessing robustness to data degradation tasks. While deep learning-based SR methods (developed in the computer vision community) excel on certain tasks, despite relatively limited prior physics information, we identify limitations of these methods in accurately capturing intricate fine-scale features and preserving fundamental physical properties and constraints in scientific data. These shortcomings highlight the importance and subtlety of incorporating domain knowledge into ML models. We anticipate that SuperBench will help to advance SR methods for science.

研究动机与目标

• 为解决科学机器学习（SciML）中评估超分辨率（SR）方法缺乏标准化基准数据集的问题。
• 实现跨流体动力学、宇宙学和大气科学等多样化科学领域 SR 模型的系统性比较。
• 不仅从重建质量角度评估 SR 性能，还关注其对物理约束和精细尺度特征的保持能力。
• 评估模型在真实退化场景（如带噪声的均匀下采样和低分辨率模拟）下的鲁棒性。
• 为未来 SciML SR 研究提供公开可用、可扩展的框架，以支持社区贡献。

提出的方法

• 该数据集包含五类不同的科学数据类型：雷诺数为 16,000 和 32,000 的纳维-斯托克斯模拟、宇宙学模拟、使用低分辨率（LR）模拟输入的宇宙学模拟，以及 ERA5 气象数据。
• 每个数据集均划分为训练集、验证集（两份，用于插值/外推）、测试集（两份），所有数据均以 HDF5 格式存储。
• 退化处理包括双三次下采样，以及更真实的、具有空间相关噪声的均匀下采样，以模拟测量误差。
• 评估了 SRCNN、子像素CNN、EDSR、WDSR 和 SwinIR 等基线 SR 模型在多个上采样因子（8× 和 16×）下的表现。
• 性能通过标准指标进行量化：PSNR、SSIM、LPIPS 和 L2 误差，结果按模型复杂度和退化类型进行分析。
• 该数据集托管于 NERSC，并依据 Open Data Commons Attribution 许可发布，代码和处理流程已在 GitHub 上公开。

实验结果

研究问题

• RQ1 最先进的基于深度学习的 SR 方法在来自流体动力学、宇宙学和气象学的高分辨率科学数据上的表现如何？
• RQ2 这些方法在有限物理感知监督下，多大程度上能够保持科学数据中的物理约束和精细尺度结构？
• RQ3 在不同退化类型（如双三次下采样与真实噪声和基于模拟的退化）下，模型性能如何变化？
• RQ4 在科学基准上，模型复杂度（参数数量）与 SR 性能之间的权衡如何？
• RQ5 所提出的基准能否同时支持插值和外推任务，且模型在这些设置下的泛化能力如何？

主要发现

• SwinIR 在大多数数据集上表现最佳，在 8× 上采样、双三次退化下，PSNR 达到 0.03–0.18 dB，LPIPS 为 0.03–0.18，优于 SRCNN 和子像素CNN 等小型模型。
• EDSR 和 WDSR 在双三次退化下表现出色，PSNR 低于 0.10 dB，LPIPS 低于 0.10，表明重建保真度高。
• 在使用低分辨率模拟输入的宇宙学数据集上，SwinIR 实现了 PSNR 0.04–0.06 dB 和 LPIPS 0.04–0.06，证明其对复杂、非双三次退化的鲁棒性。
• SRCNN 和子像素CNN 在 8× 上采样任务中表现出显著更高的误差（PSNR >10 dB），表明其在高分辨率科学数据上的可扩展性有限。
• 随着上采样因子和退化复杂度的增加，不同模型之间的性能差距扩大，凸显了科学 SR 中泛化能力的挑战。
• 结果证实，即使在 PSNR 较高的情况下，基于计算机视觉的 SR 模型仍难以在科学数据中保持精细尺度物理特征和约束。