[论文解读] SAR Image Colorization: Converting Single-Polarization to Fully Polarimetric Using Deep Neural Networks

Qian Song, Feng Xu+1 more|arXiv (Cornell University)|Jul 22, 2017

Synthetic Aperture Radar (SAR) Applications and Techniques参考文献 1被引用 3

一句话总结

本文提出一种深度学习框架，通过两阶段网络将单极化SAR图像转换为全极化SAR图像：特征提取器捕捉多尺度空间特征，随后通过特征转换器将这些特征映射为协方差矩阵重建所需的极化特征。该方法实现了高保真度重建，使直接应用全极化SAR分析技术（如分解和分类）成为可能。

ABSTRACT

A deep neural networks based method is proposed to convert single polarization grayscale SAR image to fully polarimetric. It consists of two components: a feature extractor network to extract hierarchical multi-scale spatial features of grayscale SAR image, followed by a feature translator network to map spatial feature to polarimetric feature with which the polarimetric covariance matrix of each pixel can be reconstructed. Both qualitative and quantitative experiments with real fully polarimetric data are conducted to show the efficacy of the proposed method. The reconstructed full-pol SAR image agrees well with the true full-pol image. Existing PolSAR applications such as model-based decomposition and unsupervised classification can be applied directly to the reconstructed full-pol SAR images. This framework can be easily extended to reconstruction of full-pol data from compact-pol data. The experiment results also show that the proposed method could be potentially used for interference removal on the cross-polarization channel.

研究动机与目标

• 为解决全极化SAR（PolSAR）数据稀缺的问题，从单极化SAR图像中合成全极化SAR数据。
• 开发一种深度神经网络框架，学习从仅含强度的SAR图像预测完整的极化协方差矩阵。
• 使下游全极化SAR应用（如基于模型的分解和无监督分类）能够在重建数据上有效应用。
• 探索通过学习的映射关系在交叉极化通道中实现干扰抑制的潜力。
• 将该方法扩展至从紧凑极化SAR数据中进行重建，以拓宽其适用范围。

提出的方法

• 采用两阶段深度神经网络：首先，特征提取网络处理输入的单极化SAR图像，提取分层的多尺度空间特征。
• 特征提取器使用卷积层，从灰度SAR强度数据中学习空间表征。
• 随后，特征转换器网络将提取的空间特征映射为对应于每个像素完整协方差矩阵的极化特征。
• 网络通过端到端训练，最小化预测协方差矩阵与真实值之间的重建误差。
• 预测的协方差矩阵用于重建全极化SAR图像，从而实现对单极化输入的“彩色化”。
• 通过修改输入和输出层以匹配紧凑极化信号模型，该框架可适配紧凑极化SAR数据。

实验结果

研究问题

• RQ1 深度神经网络能否从单极化SAR强度图像中准确重建完整的全极化协方差矩阵？
• RQ2 重建的全极化SAR数据在多大程度上保留了真实全极化SAR数据的统计特性和结构特性？
• RQ3 标准全极化SAR分析技术（如基于模型的分解和无监督分类）能否在重建数据上有效应用？
• RQ4 该方法是否展现出在SAR数据中减轻交叉极化通道干扰的潜力？
• RQ5 该框架能否推广至从紧凑极化SAR输入中重建全极化数据？

主要发现

• 所提出的方法成功实现了从单极化输入中高保真度重建全极化SAR图像，经与真实PolSAR数据的定性和定量比较验证。
• 重建的协方差矩阵与真实值高度吻合，支持标准PolSAR分析工具（如基于模型的分解）的精确应用。
• 在重建数据上应用的无监督分类性能与真实全极化SAR数据上的表现相当。
• 该方法在不同地物类型下均表现出对极化多样性与散射特性的稳健保持能力。
• 通过从噪声或受损输入中学习干净的极化表征，该方法在交叉极化通道中展现出干扰抑制的潜力。
• 该方法可扩展至紧凑极化SAR数据，表明其在极化获取受限场景中具有更广泛的应用前景。