[论文解读] Predicting Landsat Reflectance with Deep Generative Fusion

Shahine Bouabid, Maxim Chernetskiy+2 more|arXiv (Cornell University)|Nov 9, 2020

Remote Sensing in Agriculture参考文献 35被引用 6

一句话总结

本文提出一种基于条件生成对抗网络（cGAN）的深度生成融合模型，通过融合每日、低分辨率的MODIS地表反射率数据与稀疏、高分辨率的Landsat影像，实现对高分辨率Landsat风格地表反射率的预测。该方法在图像质量指标上达到最先进水平，PSNR为24.0（近红外波段），SSIM为0.761，SAM为2.70，相较于ESTARFM展现出更优的保真度与纹理真实感。

ABSTRACT

Public satellite missions are commonly bound to a trade-off between spatial and temporal resolution as no single sensor provides fine-grained acquisitions with frequent coverage. This hinders their potential to assist vegetation monitoring or humanitarian actions, which require detecting rapid and detailed terrestrial surface changes. In this work, we probe the potential of deep generative models to produce high-resolution optical imagery by fusing products with different spatial and temporal characteristics. We introduce a dataset of co-registered Moderate Resolution Imaging Spectroradiometer (MODIS) and Landsat surface reflectance time series and demonstrate the ability of our generative model to blend coarse daily reflectance information into low-paced finer acquisitions. We benchmark our proposed model against state-of-the-art reflectance fusion algorithms.

研究动机与目标

• 为解决公共卫星影像中空间与时间分辨率之间的权衡问题，该问题限制了对快速土地覆盖变化的有效监测。
• 开发一种深度生成模型，融合低时间频率、高空间分辨率的Landsat数据与高时间频率、低空间分辨率的MODIS数据。
• 构建一个新的共址Landsat与MODIS地表反射率时序数据集，用于模型训练与评估。
• 通过定量与定性指标，将所提模型与最先进反射率融合方法（如ESTARFM）进行基准对比。

提出的方法

• 采用带有跳跃连接的U-Net生成器，保留上一次已知Landsat影像的空间结构，使网络仅需学习时间上的变化。
• 采用局部图像块分类的PatchGAN判别器，促进高频纹理生成与真实图像细节的还原。
• 结合L1损失与SSIM损失，以稳定对抗训练并减少棋盘状伪影等缺陷。
• 使用配对的Landsat-MODIS反射率时序数据端到端训练模型，并通过随机裁剪256×256图像块进行数据增强。
• 将MODIS数据重采样至30米分辨率，并通过双线性插值与地理配准实现与Landsat的空间对齐。
• 通过对抗损失、L1损失与SSIM损失联合优化模型，以平衡感知质量与像素级精度。

实验结果

研究问题

• RQ1 深度生成模型能否有效融合每日、粗分辨率的MODIS反射率与稀疏、高分辨率的Landsat数据，生成逼真且高分辨率的地表反射率预测？
• RQ2 与传统统计方法（如ESTARFM）相比，所提出的cGAN融合模型在图像质量与时间一致性方面表现如何？
• RQ3 与仅使用L1损失相比，联合使用L1与SSIM损失在多大程度上提升了生成反射率图像的训练稳定性与真实感？
• RQ4 该模型在复杂时间动态下，能否在多种地表覆盖类型（如农作物、森林与城市区域）上实现良好泛化？

主要发现

• 所提出的cGAN模型结合L1与SSIM损失，在近红外（NIR）波段实现24.0的PSNR，显著优于ESTARFM的19.6。
• 该模型在NIR波段SSIM得分为0.761，表明其结构相似性优于真实值，显著高于ESTARFM的0.555。
• 光谱角映射器（SAM）得分降低至2.70（×10⁻²），表明其光谱保真度优于ESTARFM的4.88。
• 定性结果表明，cGAN模型能更好地保留精细空间细节，并准确将MODIS反射率融合至Landsat几何结构中，尤其在异质景观中表现更优。
• 引入SSIM损失可稳定训练过程，减少对抗性伪影（如棋盘状图案），提升感知质量。
• 该模型在输入Landsat影像与预测日期时间间隔较远时仍能保持良好的反射率预测能力，而ESTARFM在类似情况下表现不佳。