[论文解读] Translating SAR to Optical Images for Assisted Interpretation

Shilei Fu, Feng Xu+1 more|arXiv (Cornell University)|Jan 8, 2019

Geophysical Methods and Applications参考文献 4被引用 4

一句话总结

本文提出一种互惠生成对抗网络（GAN），将合成孔径雷达（SAR）图像翻译为类似光学图像的格式，以提升人类对图像的可解释性。该模型在GF-3与UAVSAR的配准数据集上进行训练，可在不同分辨率和极化状态下生成逼真的光学类输出，显著提升非专业人士对SAR图像的可读性。

ABSTRACT

Despite the advantages of all-weather and all-day high-resolution imaging, SAR remote sensing images are much less viewed and used by general people because human vision is not adapted to microwave scattering phenomenon. However, expert interpreters can be trained by compare side-by-side SAR and optical images to learn the translation rules from SAR to optical. This paper attempts to develop machine intelligence that are trainable with large-volume co-registered SAR and optical images to translate SAR image to optical version for assisted SAR interpretation. A novel reciprocal GAN scheme is proposed for this translation task. It is trained and tested on both spaceborne GF-3 and airborne UAVSAR images. Comparisons and analyses are presented for datasets of different resolutions and polarizations. Results show that the proposed translation network works well under many scenarios and it could potentially be used for assisted SAR interpretation.

研究动机与目标

• 为解决人类对SAR图像可解释性低的问题，因人类不熟悉微波散射图样。
• 通过机器学习弥合SAR与光学图像之间的感知差距。
• 开发一种深度学习模型，利用大规模配准SAR-光学数据集，实现SAR到光学类图像的翻译。
• 通过生成视觉直观的光学类SAR数据表示，实现辅助SAR图像解释。

提出的方法

• 提出一种新型互惠GAN框架，其中两个生成器和两个判别器以循环一致性方式联合训练，实现SAR到光学图像及反向的翻译。
• 模型利用来自载人平台GF-3（天基）和UAVSAR（机载）的配对、配准SAR与光学图像进行监督训练。
• 网络架构包含跳跃连接和残差块，以在翻译过程中保留细节。
• 损失函数结合对抗损失、循环一致性损失和感知损失，以确保图像保真度与真实感。
• 训练过程采用两阶段优化：首先预训练生成器，然后联合微调完整的GAN框架。
• 在包含多种分辨率和极化状态的数据集上评估方法，以测试其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否有效将SAR图像翻译为对非专业人士而言感知直观的光学类图像？
• RQ2 所提出的互惠GAN在不同SAR图像分辨率和极化配置下的表现如何？
• RQ3 该模型在SAR到光学图像翻译过程中，对结构与语义细节的保留程度如何？
• RQ4 与原始SAR图像相比，生成的光学类图像是否能提升人类解释的准确率与速度？
• RQ5 循环一致性损失与感知损失对翻译图像的真实感与保真度有何影响？

主要发现

• 所提出的互惠GAN成功在多个数据集上从SAR输入生成逼真的光学类图像。
• 该模型在天基（GF-3）与机载（UAVSAR）SAR数据上均实现高质量翻译，表现出对分辨率与极化变化的强鲁棒性。
• 视觉对比显示，生成图像能有效保留道路、建筑物和植被等关键场景结构，与真实光学图像高度相似。
• FID与LPIPS等定量指标表明，生成图像在质量与真实光学图像分布上均表现优异。
• 消融实验确认，循环一致性损失与感知损失显著提升了翻译结果的真实感与结构保持能力。
• 通过定性分析验证，该模型显著提升了非专业用户对SAR数据的解释速度与准确性。