[论文解读] Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution

Qi Wang, Qiang Li+1 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Image Fusion Techniques参考文献 41被引用 24

一句话总结

该论文提出SSRNet，一种3D卷积神经网络，通过空间-光谱残差模块（SSRMs）和可分离3D卷积，联合利用空间与光谱特征，实现最先进的高光谱图像超分辨率。该方法在显著提升PSNR、SSIM和SAM指标的同时，保持光谱保真度并避免波段丢失，优于现有方法。

ABSTRACT

Deep learning-based hyperspectral image super-resolution (SR) methods have achieved great success recently. However, most existing models can not effectively explore spatial information and spectral information between bands simultaneously, obtaining relatively low performance. To address this issue, in this paper, we propose a novel spectral-spatial residual network for hyperspectral image super-resolution (SSRNet). Our method can effectively explore spatial-spectral information by using 3D convolution instead of 2D convolution, which enables the network to better extract potential information. Furthermore, we design a spectral-spatial residual module (SSRM) to adaptively learn more effective features from all the hierarchical features in units through local feature fusion, significantly improving the performance of the algorithm. In each unit, we employ spatial and temporal separable 3D convolution to extract spatial and spectral information, which not only reduces unaffordable memory usage and high computational cost, but also makes the network easier to train. Extensive evaluations and comparisons on three benchmark datasets demonstrate that the proposed approach achieves superior performance in comparison to existing state-of-the-art methods.

研究动机与目标

• 为解决现有深度学习方法在高光谱图像超分辨率（HSI-SR）中同时捕捉空间与光谱信息方面的局限性。
• 开发一种网络，保留原始光谱波段数量，并在重建过程中避免光谱失真。
• 通过高效的可分离3D卷积，降低计算成本和内存使用，同时保持高性能。
• 实现端到端的监督学习，无需配对的高分辨率RGB图像。
• 通过残差模块中的局部特征融合，自适应地融合分层特征，提升特征表示能力。

提出的方法

• 所提出的SSRNet采用3D卷积层而非2D卷积层，从高光谱数据中联合提取空间与光谱特征。
• 设计了空间-光谱残差模块（SSRM），通过分层单元间的局部特征融合，自适应学习有效特征。
• 使用可分离3D卷积，独立提取空间与光谱特征，降低模型复杂度与训练成本。
• 网络以监督方式训练，学习从低分辨率到高分辨率高光谱图像的映射。
• 该架构避免改变光谱波段数量，确保重建过程中的完整光谱保真度。
• 该方法不依赖配对的RGB图像，因此在不同数据集和场景下更具鲁棒性。

实验结果

研究问题

• RQ1 基于3D卷积的网络能否有效利用高光谱图像超分辨率中的空间与光谱特征？
• RQ2 空间-光谱残差模块中的局部特征融合相比标准残差块，在特征表示方面有何改进？
• RQ3 可分离3D卷积在不牺牲性能的前提下，能在多大程度上降低计算成本？
• RQ4 在多个基准数据集上，该方法在PSNR、SSIM和SAM指标上与SOTA方法相比表现如何？
• RQ5 缺乏RGB图像引导是否能提升在不同高光谱场景下的鲁棒性与泛化能力？

主要发现

• 在CAVE数据集上，×4缩放因子下，SSRNet的PSNR达到38.67 dB，优于第二名方法（EDSR）的+0.36 dB。
• 在同一数据集上，SSRNet的SSIM提升+0.002，SAM降低-0.07，优于EDSR。
• 在Harvard数据集上，×3缩放因子下，SSRNet相比第二名方法实现+0.98 dB的PSNR增益和+0.004的SSIM提升。
• 视觉对比显示，SSRNet生成的边缘细节最准确，绝对误差图最蓝（最低），表明重建质量更优。
• 光谱曲线分析证实，SSRNet的光谱响应最接近真实值，相比3D-FCNN表现出显著更少的失真，后者在重建过程中丢失了波段。
• SSRNet保持了完整的光谱波段数量，且在所有数据集和缩放因子下均表现出最佳的光谱保真度，体现为SAM值持续更低。