[论文解读] Multispectral and Hyperspectral Image Fusion by MS/HS Fusion Net

Qi Xie, Minghao Zhou+4 more|arXiv (Cornell University)|Jan 10, 2019

Advanced Image Fusion Techniques参考文献 51被引用 19

一句话总结

本文提出MS/HS融合网络（MS/HS Fusion Net），一种深度学习框架，将物理观测模型与低秩光谱先验融入可学习的基于优化的网络中，用于将高分辨率多光谱（HrMS）与低分辨率高光谱（LrHS）图像融合为高分辨率高光谱（HrHS）图像。通过将迭代邻近算法展开为带有可学习算子的深度残差网络，该方法在模拟数据和真实世界数据上均实现了最先进性能，在PSNR、SAM和SSIM指标上显著优于现有方法。

ABSTRACT

Hyperspectral imaging can help better understand the characteristics of different materials, compared with traditional image systems. However, only high-resolution multispectral (HrMS) and low-resolution hyperspectral (LrHS) images can generally be captured at video rate in practice. In this paper, we propose a model-based deep learning approach for merging an HrMS and LrHS images to generate a high-resolution hyperspectral (HrHS) image. In specific, we construct a novel MS/HS fusion model which takes the observation models of low-resolution images and the low-rankness knowledge along the spectral mode of HrHS image into consideration. Then we design an iterative algorithm to solve the model by exploiting the proximal gradient method. And then, by unfolding the designed algorithm, we construct a deep network, called MS/HS Fusion Net, with learning the proximal operators and model parameters by convolutional neural networks. Experimental results on simulated and real data substantiate the superiority of our method both visually and quantitatively as compared with state-of-the-art methods along this line of research.

研究动机与目标

• 为解决高光谱图像融合的病态性问题，通过引入物理观测模型与图像内在先验。
• 克服传统方法依赖主观且固定的先验（如稀疏性或总变差）的局限性。
• 开发一种可解释且专为MS/HS融合设计的深度学习模型，而非对通用网络进行迁移。
• 实现从数据中端到端学习空间与光谱响应算子（R和C），以提升融合精度。
• 在模拟数据与真实世界数据（包括无真实标签的挑战性真实数据）上均实现卓越性能。

提出的方法

• 该方法将MS/HS融合建模为一个优化问题，整合观测模型：Y = XR + Ny 和 Z = CX + Nz，其中X为待恢复的HrHS图像。
• 通过在X的光谱维度上施加低秩性，以利用内在光谱相关性，减少光谱失真。
• 设计了一种迭代邻近梯度算法来求解该优化问题，集成两种观测模型与低秩先验。
• 将该算法展开为深度残差网络（MS/HS融合网络），其中邻近算子与模型参数通过卷积层进行学习。
• 网络在配对的HrMS与LrHS图像块及其对应的HrHS目标上进行端到端训练，实现空间-光谱重建与响应算子的联合学习。
• 该架构通过嵌入底层图像形成过程，特别设计以保持物理一致性与可解释性。

实验结果

研究问题

• RQ1 通过嵌入物理观测模型而非依赖通用网络架构，是否能使MS/HS融合的深度学习模型实现更优性能？
• RQ2 引入光谱低秩性在多大程度上能提升融合精度并减少光谱失真？
• RQ3 基于优化的迭代算法能否被有效展开为一个泛化能力强的深度网络？
• RQ4 空间与光谱响应算子（R和C）在多大程度上可从数据中实现端到端学习？
• RQ5 所提方法是否在模拟与真实世界MS/HS融合场景中均优于最先进方法？

主要发现

• 在Chikusei数据集上，所提MHF-net达到32.26 dB的PSNR，显著优于第二名方法（ResNet为29.35 dB）。
• 在Chikusei数据集上，该方法SAM为3.02°，远低于ResNet的3.69°，表明光谱保真度更优。
• 视觉对比显示，MHF-net结果最接近真实值，光谱失真最小，且更完整地保留了细纹理与结构细节。
• 在真实世界罗马斗兽场数据上，MHF-net生成的视觉结果更优，颜色与亮度匹配更准确，优于ResNet。
• 在Chikusei数据集上，该方法SSIM达0.890，FSIM达0.946，表明结构与感知质量更优。
• 该网络在无真实标签的真实数据上表现出强泛化能力，视觉质量始终优于对比方法。