[论文解读] Super-resolution GANs of randomly-seeded fields

Alejandro Güemes, Carlos Sanmiguel Vila+1 more|arXiv (Cornell University)|Feb 23, 2022

Advanced Image Processing Techniques被引用 5

一句话总结

本文提出 RaSeedGAN，一种超分辨率生成对抗网络框架，可在无需完整全场高分辨率训练数据的情况下，从随机分布、稀疏的传感器测量值中重建高分辨率场数据。通过利用随机采样模式与条件生成对抗网络架构，RaSeedGAN 即使在高稀疏度（高达 90% 缺失率）和存在噪声的情况下，也能在流体流动、海洋温度和湍流边界层数据的重建中实现最先进性能。

ABSTRACT

Reconstruction of field quantities from sparse measurements is a problem arising in a broad spectrum of applications. This task is particularly challenging when the mapping between sparse measurements and field quantities is performed in an unsupervised manner. Further complexity is added for moving sensors and/or random on-off status. Under such conditions, the most straightforward solution is to interpolate the scattered data onto a regular grid. However, the spatial resolution achieved with this approach is ultimately limited by the mean spacing between the sparse measurements. In this work, we propose a super-resolution generative adversarial network (GAN) framework to estimate field quantities from random sparse sensors without needing any full-field high-resolution training. The algorithm exploits random sampling to provide incomplete views of the {high-resolution} underlying distributions. It is hereby referred to as RAndomly-SEEDed super-resolution GAN (RaSeedGAN). The proposed technique is tested on synthetic databases of fluid flow simulations, ocean surface temperature distributions measurements, and particle image velocimetry data of a zero-pressure-gradient turbulent boundary layer. The results show excellent performance even in cases with high sparsity or with levels of noise. To our knowledge, this is the first GAN algorithm for full-field high-resolution estimation from randomly-seeded fields with no need of full-field high-resolution representations.

研究动机与目标

• 解决在缺乏完整全场高分辨率训练数据的条件下，从稀疏、随机分布的传感器测量值中重建高分辨率场量的挑战。
• 克服传统方法（如 Gappy-POD 和压缩感知）的局限性，这些方法依赖线性映射，且需要高样本数量或平滑性假设。
• 开发一种深度学习框架，能够从低分辨率分箱数据和稀疏高分辨率观测中学习复杂、非线性的映射关系。
• 实现在海洋学、气象学和流体力学等实际场景中的应用，这些场景中高分辨率数据采集不可行。
• 在包括湍流流动和卫星反演温度场在内的多种物理系统中，展示对高稀疏度、噪声和非线性的鲁棒性。

提出的方法

• 使用低分辨率分箱场和稀疏高分辨率观测作为输入和目标，训练条件生成对抗网络（cGAN）。
• 通过生成器网络在低分辨率输入和稀疏传感器数据的条件下合成高分辨率场，判别器则用于区分真实场与生成场。
• 在多个训练样本中采用随机采样模式，以模拟对底层高分辨率分布的不完整视图，从而实现对未见稀疏配置的泛化能力。
• 通过将高分辨率场分箱为低分辨率网格（例如 32×32 像素）构建训练数据，并从原始场中采样稀疏点以模拟传感器数据。
• 应用 2、4 和 8 倍的上采样因子，以评估在不同稀疏度和缺失率（最高达 90%）下的性能表现。
• 采用基于 [27] 的改进架构，包含残差块和跳跃连接，以在超分辨率过程中保留细尺度特征。

实验结果

研究问题

• RQ1 基于 GAN 的框架是否能够在无需完整全场高分辨率训练数据的情况下，从稀疏、随机分布的传感器数据中重建高分辨率场？
• RQ2 所提出方法在高稀疏度（例如 85–90% 缺失率）和含噪声测量条件下的泛化能力如何？
• RQ3 与线性方法或字典基方法相比，RaSeedGAN 在捕捉湍流流动和地球物理系统中复杂非线性动力学方面的程度如何？
• RQ4 在训练样本中对传感器位置进行随机化是否能提升对未见传感器配置的泛化能力？
• RQ5 该框架能否有效应用于真实世界数据集，如卫星海表温度和实验 PIV 数据？

主要发现

• RaSeedGAN 能够成功从稀疏、随机布设的传感器中重建高分辨率场，最高可达 90% 缺失率，性能优于基线方法。
• 在流体弹珠和湍流通道流模拟中，模型在 8 倍上采样因子下，尽管存在 85% 缺失率，仍实现了 22.1 dB 的峰值信噪比（PSNR）。
• 对于 NOAA 海表温度数据集，模型在 8 倍上采样因子下保持了 20.3 dB 的 PSNR，对应 90% 缺失率，表明其对真实世界噪声和不规则采样的鲁棒性。
• 在零压梯度湍流边界层的实验 PIV 数据集中，RaSeedGAN 在 4 倍上采样因子下实现了 19.8 dB 的 PSNR，缺失率为 61%，表明其在真实实验数据上的强大性能。
• 由于训练过程中对传感器位置进行了随机化，该模型对未见传感器配置具有良好的泛化能力，可部署于传感器位置不可预测的实际场景。
• 在高缺失率和非线性区域，该框架优于传统方法（如 Gappy-POD 和压缩感知），后者在非线性假设失效时性能下降。