[论文解读] Super-Resolution for Hyperspectral and Multispectral Image Fusion Accounting for Seasonal Spectral Variability

Ricardo Augusto Borsoi, Tales Imbiriba+1 more|arXiv (Cornell University)|Aug 29, 2018

Advanced Image Fusion Techniques参考文献 47被引用 109

一句话总结

本文提出FuVar，一种新颖的高光谱-多光谱（HS-MS）图像融合方法，该方法显式建模了由于季节或环境变化导致在不同时间获取的图像之间的光谱可变性。通过将参数化光谱可变性模型整合到基于解混的框架中，并利用交替方向乘子法（ADMM）求解，FuVar在光谱可变性条件下显著提升了融合精度，同时在稳定条件下仍保持最先进性能。

ABSTRACT

Image fusion combines data from different heterogeneous sources to obtain more precise information about an underlying scene. Hyperspectral-multispectral (HS-MS) image fusion is currently attracting great interest in remote sensing since it allows the generation of high spatial resolution HS images, circumventing the main limitation of this imaging modality. Existing HS-MS fusion algorithms, however, neglect the spectral variability often existing between images acquired at different time instants. This time difference causes variations in spectral signatures of the underlying constituent materials due to different acquisition and seasonal conditions. This paper introduces a novel HS-MS image fusion strategy that combines an unmixing-based formulation with an explicit parametric model for typical spectral variability between the two images. Simulations with synthetic and real data show that the proposed strategy leads to a significant performance improvement under spectral variability and state-of-the-art performance otherwise.

研究动机与目标

• 解决现有HS-MS融合方法中忽略时序分离图像之间光谱可变性的关键空白。
• 在采集条件和季节变化改变材料光谱特征的真实场景中，提升融合精度。
• 开发一种鲁棒的融合框架，联合估计在时变光谱条件下高分辨率的端元和丰度。
• 在稳定与可变光谱条件下均保持高性能，在存在光谱可变性时优于最先进方法。

提出的方法

• 提出一种新颖的基于解混的融合框架，通过时间与环境因素的参数函数建模光谱可变性。
• 引入高分辨率端元与丰度图在HS和MS图像上的联合估计，以适应因时间偏移导致的潜在材料差异。
• 采用交替方向乘子法（ADMM）求解非凸优化问题，通过将其分解为子问题实现。
• 通过HS与MS图像之间端元特征的参数化变换建模光谱可变性，捕捉季节性和大气效应。
• 使用Sylvester方程公式化MS图像重建子问题，并应用近端算子处理稀疏性与非负性约束。
• 通过二维傅里叶域操作引入总变差正则化，以保持空间结构并增强边缘保真度。

实验结果

研究问题

• RQ1 一种显式建模时序分离的HS与MS图像之间光谱可变性的融合方法，是否能优于现有方法？
• RQ2 由季节变化或大气条件引起的光谱可变性，如何影响HS-MS融合的精度？
• RQ3 与最先进方法相比，所提出的FuVar方法在稳定光谱条件下在多大程度上保持或提升性能？
• RQ4 联合估计时变端元与丰度是否能显著提升真实遥感应用中高分辨率高光谱图像的准确性？

主要发现

• 所提出的FuVar方法在光谱可变性条件下实现了显著的性能提升，在光谱角 mapper（SAM）和均方根误差（RMSE）指标上均优于最先进方法。
• 在相同采集条件下，FuVar保持了最先进性能，证明其在不同光谱条件下的鲁棒性。
• 在合成与真实遥感数据上的模拟结果表明，当存在光谱可变性时，FuVar相比基线方法可将SAM降低高达30%，RMSE降低高达25%。
• 采用参数化光谱可变性模型使高分辨率高光谱图像的准确恢复成为可能，即使HS与MS采集时的端元特征存在差异。
• 基于ADMM的优化框架收敛稳定且高效，适用于大规模遥感数据的实际应用。
• 视觉与定量分析结果证实，该方法能有效保持空间细节与光谱保真度，真实世界数据集表现优异。