[论文解读] Recent Advances and New Guidelines on Hyperspectral and Multispectral Image Fusion

Renwei Dian, Shutao Li+2 more|arXiv (Cornell University)|Aug 8, 2020

Advanced Image Fusion Techniques参考文献 94被引用 7

一句话总结

本文对高光谱与多光谱图像融合（HSI-MSI）提供了全面综述并提出了新指南，将方法分类为基于全色锐化、基于矩阵分解、基于张量表示以及基于深度卷积神经网络（CNN）的方法。文章详细比较了各类方法，识别出关键挑战，如空间退化建模和点扩散函数/光谱响应函数（PSF/SRF）估计，并提出了未来研究方向，包括零样本学习和计算效率优化，以支持实际应用中的性能提升。

ABSTRACT

Hyperspectral image (HSI) with high spectral resolution often suffers from low spatial resolution owing to the limitations of imaging sensors. Image fusion is an effective and economical way to enhance the spatial resolution of HSI, which combines HSI with higher spatial resolution multispectral image (MSI) of the same scenario. In the past years, many HSI and MSI fusion algorithms are introduced to obtain high-resolution HSI. However, it lacks a full-scale review for the newly proposed HSI and MSI fusion approaches. To tackle this problem,this work gives a comprehensive review and new guidelines for HSI-MSI fusion. According to the characteristics of HSI-MSI fusion methods, they are categorized as four categories, including pan-sharpening based approaches, matrix factorization based approaches, tensor representation based approaches, and deep convolution neural network based approaches. We make a detailed introduction, discussions, and comparison for the fusion methods in each category. Additionally, the existing challenges and possible future directions for the HSI-MSI fusion are presented.

研究动机与目标

• 为解决近期HSI-MSI融合方法，特别是基于张量和深度学习方法的全面综述缺失问题。
• 基于其基本原理和性能，系统性地对现有HSI-MSI融合技术进行分类与比较。
• 识别真实世界HSI-MSI融合中的关键挑战，如空间退化建模和未知的PSF/SRF。
• 提出新指南与未来研究方向，包括零样本学习和计算效率优化。
• 支持遥感应用中融合性能的提升，如目标分类、异常检测和环境监测。

提出的方法

• 将HSI-MSI融合方法分为四类：基于全色锐化、基于矩阵分解（MF）的、基于张量表示（TR）的以及基于深度CNN的方法。
• 从公式化、优势、局限性和实现细节等方面，对每一类方法进行回顾与比较。
• 分析涉及点扩散函数（PSF）和光谱响应函数（SRF）的观测模型，强调其在融合精度中的作用。
• 提出零样本学习作为解决深度学习融合中真实世界训练数据不足挑战的方案。
• 引入空间退化建模作为处理HSI与MSI之间大空间分辨率差异的关键因素。
• 讨论计算效率策略，包括低维子空间表示和深度学习模型的GPU加速。

实验结果

研究问题

• RQ1 在融合质量与计算成本方面，基于全色锐化、MF、TR和深度CNN的HSI-MSI融合方法有何差异？
• RQ2 真实世界HSI-MSI融合中的主要挑战是什么，特别是未知的PSF和SRF？
• RQ3 如何有效应用零样本学习，在无需成对训练数据的情况下训练深度CNN用于HSI-MSI融合？
• RQ4 与传统方法相比，基于张量和深度学习的方法在融合性能方面提升了多少？
• RQ5 可采用哪些策略来提升大规模HSI与MSI数据的计算效率？

主要发现

• 基于深度CNN的方法通过端到端学习实现高融合质量与高计算效率，但在训练与测试数据在光谱范围或传感器型号上不一致时，泛化能力有限。
• 矩阵分解与张量表示方法对准确的PSF和SRF估计敏感；模型不准确会导致融合图像中出现严重空间失真。
• 零样本学习通过仅使用目标HSI和MSI并利用空间下采样生成合成训练数据，使深度CNN的训练成为可能，从而提升对未见传感器的泛化能力。
• 通过利用光谱冗余性，低维子空间表示显著降低了MF与TR方法的计算复杂度。
• 在PSF与SRF估计中使用总变差正则化可提高稳定性，但可能产生负值，需额外约束条件。
• 通过GPU加速，深度学习融合的计算效率显著提升，使大规模遥感数据的实时处理成为可能。