[论文解读] Reciprocal Translation between SAR and Optical Remote Sensing Images with Cascaded-Residual Adversarial Networks

Shilei Fu, Feng Xu+1 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Image Processing Techniques参考文献 41被引用 7

一句话总结

本文提出了一种级联残差生成对抗网络，用于合成孔径雷达（SAR）与光学遥感图像之间的互译，利用配对与非配对数据以提升可解释性。该方法采用混合L1-GAN损失，实现了最先进的性能，并在包括GF-3和UAVSAR在内的多种SAR与光学数据集上表现出鲁棒性，FID得分表明图像翻译质量较高。

ABSTRACT

Despite the advantages of all-weather and all-day high-resolution imaging, synthetic aperture radar (SAR) images are much less viewed and used by general people because human vision is not adapted to microwave scattering phenomenon. However, expert interpreters can be trained by comparing side-by-side SAR and optical images to learn the mapping rules from SAR to optical. This paper attempts to develop machine intelligence that are trainable with large-volume co-registered SAR and optical images to translate SAR image to optical version for assisted SAR image interpretation. Reciprocal SAR-Optical image translation is a challenging task because it is raw data translation between two physically very different sensing modalities. This paper proposes a novel reciprocal adversarial network scheme where cascaded residual connections and hybrid L1-GAN loss are employed. It is trained and tested on both spaceborne GF-3 and airborne UAVSAR images. Results are presented for datasets of different resolutions and polarizations and compared with other state-of-the-art methods. The FID is used to quantitatively evaluate the translation performance. The possibility of unsupervised learning with unpaired SAR and optical images is also explored. Results show that the proposed translation network works well under many scenarios and it could potentially be used for assisted SAR interpretation.

研究动机与目标

• 开发一种机器学习模型，实现SAR与光学遥感图像之间的可解释性转换，以弥合微波影像中的人类感知差距。
• 克服由于成像物理原理与信号特性差异导致的原始SAR与光学数据之间转换的挑战。
• 支持配对与非配对训练场景，提升模型泛化能力与实际应用潜力。
• 通过先进的深度学习架构提升翻译图像的视觉保真度与结构一致性。
• 通过从SAR输入生成类光学照片级真实感图像，支持辅助SAR图像解译。

提出的方法

• 设计了一种级联残差对抗网络架构，以学习SAR与光学图像之间的双向映射关系。
• 以级联方式堆叠残差块，通过长跳跃连接稳定训练过程并保留细微细节。
• 采用混合损失函数，结合L1损失以保证像素级重建精度，以及GAN损失以提升感知真实感。
• 使用配对与非配对的SAR-光学图像数据集进行端到端训练，实现无监督适应。
• 在双向方向上应用对抗训练，确保互译一致性：SAR → 光学图像 与 光学图像 → SAR。
• 在空间载荷GF-3与机载UAVSAR数据集上对框架进行评估，涵盖不同分辨率与极化方式。

实验结果

研究问题

• RQ1 尽管SAR与光学遥感图像在物理与统计特性上存在显著差异，深度生成模型是否能有效学习其互译关系？
• RQ2 在缺乏直接图像对应关系的非配对训练设置下，所提出的级联残差GAN性能如何？
• RQ3 与标准GAN相比，混合L1-GAN损失在提升翻译图像的感知质量与结构保真度方面有多大改善？
• RQ4 该模型在不同SAR图像分辨率、极化方式以及传感器类型（如GF-3与UAVSAR）下的鲁棒性如何？
• RQ5 该模型能否从SAR输入生成支持人类解译的类照片级真实感光学图像？

主要发现

• 所提方法在SAR到光学图像及光学图像到SAR图像的翻译任务中均达到当前最优性能，以Fréchet Inception Distance（FID）衡量。
• 模型在多样化数据集上表现出强大泛化能力，包括空间载荷GF-3与机载UAVSAR，且在不同分辨率与极化方式下保持一致性能。
• 混合L1-GAN损失通过平衡像素级精度与感知真实感，显著提升了图像质量。
• 采用非配对数据的无监督训练取得具有竞争力的结果，表明模型无需成对样本即可学习有意义的跨模态表征。
• 视觉评估确认，翻译后的图像保持了结构与语义一致性，支持其在辅助SAR图像解译中的应用。