[论文解读] Remote Sensing Image Fusion Based on Two-stream Fusion Network

Xiangyu Liu, Qingjie Liu+1 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Image Fusion Techniques参考文献 5被引用 9

一句话总结

本文提出了一种用于遥感图像融合的双流融合网络（TFNet），通过使用基于CNN的编码器-解码器架构，在特征层面融合全色（PAN）和多光谱（MS）图像，实现全色锐化。该方法采用ℓ₁损失和残差学习，实现了最先进的性能，在QuickBird和GaoFeng-1数据集上显著减少了光谱失真，并增强了空间细节的保留。

ABSTRACT

Remote sensing image fusion (also known as pan-sharpening) aims at generating high resolution multi-spectral (MS) image from inputs of a high spatial resolution single band panchromatic (PAN) image and a low spatial resolution multi-spectral image. Inspired by the astounding achievements of convolutional neural networks (CNNs) in a variety of computer vision tasks, in this paper, we propose a two-stream fusion network (TFNet) to address the problem of pan-sharpening. Unlike previous CNN based methods that consider pan-sharpening as a super resolution problem and perform pan-sharpening in pixel level, the proposed TFNet aims to fuse PAN and MS images in feature level and reconstruct the pan-sharpened image from the fused features. The TFNet mainly consists of three parts. The first part is comprised of two networks extracting features from PAN and MS images, respectively. The subsequent network fuses them together to form compact features that represent both spatial and spectral information of PAN and MS images, simultaneously. Finally, the desired high spatial resolution MS image is recovered from the fused features through an image reconstruction network. Experiments on Quickbird and \mbox{GaoFen-1} satellite images demonstrate that the proposed TFNet can fuse PAN and MS images, effectively, and produce pan-sharpened images competitive with even superior to state of the arts.

研究动机与目标

• 解决依赖超分辨率范式的像素级全色锐化方法的局限性。
• 通过在特征层面而非像素层面融合PAN和MS图像，提升全色锐化性能。
• 探究ℓ₁损失和残差学习在减少光谱失真和增强空间细节方面的有效性。
• 开发一种灵活的端到端深度学习框架，实现高质量全色锐化，更好地保留光谱和空间信息。

提出的方法

• 该方法采用双流CNN架构，为PAN和MS图像分别设置独立的编码器，以提取分层特征。
• PAN和MS流的特征在共享的融合网络中进行融合，生成紧凑的、联合表示空间与光谱内容的特征。
• 解码器网络使用转置卷积从融合特征中重建高分辨率多光谱图像。
• 网络使用ℓ₁损失函数进行训练，结果表明其在减少重建伪影方面优于标准的ℓ₂损失。
• 在网络中引入残差学习模块，以稳定训练并提升特征学习能力，尤其适用于深层网络结构。
• 该框架可端到端训练，并使用自适应学习率的随机梯度下降进行优化。

实验结果

研究问题

• RQ1 在深度CNN架构中，特征级融合是否能优于基于超分辨率范式的像素级全色锐化方法？
• RQ2 与ℓ₂损失相比，使用ℓ₁损失是否能在光谱保真度和空间细节方面提升全色锐化图像的质量？
• RQ3 残差学习在遥感图像融合的双流融合网络中在多大程度上提升了性能？
• RQ4 在真实卫星数据上，所提出方法在SAM、CC和ERGAS等定量指标上与最先进方法相比如何？

主要发现

• 所提出的TFNet结合ℓ₁损失在QuickBird和GaoFen-1数据集的所有指标上均取得最佳结果，SAM为4.6811，ERGAS为3.9117。
• ResTFNet-ℓ₁变体进一步提升了性能，SAM降至4.5149，ERGAS降至3.6931，表明光谱失真进一步减少。
• 视觉分析表明，所提方法能有效保留精细空间细节并最小化颜色伪影，在视觉质量上优于IHS、ATWT_M3和PNN。
• 与传统方法如AWLP和BDSD相比，该方法显著减少了模糊和光谱失真，后者仍存在部分伪影。
• 使用ℓ₁损失相比ℓ₂损失能生成更锐利的边缘并更好地重建高频分量。
• 残差学习有助于训练更加稳定，并提升性能，尤其在保留细微光谱变化方面表现更优。