[论文解读] Unsupervised Sparse Dirichlet-Net for Hyperspectral Image Super-Resolution

Ying Qu, Hairong Qi+1 more|arXiv (Cornell University)|Apr 13, 2018

Advanced Image Fusion Techniques参考文献 41被引用 6

一句话总结

该论文提出了一种无监督稀疏狄利克雷网络（uSDN），用于高光谱图像超分率（HSI-SR）任务，该方法在无需真实高分辨率（HR）高光谱图像（HSI）监督的情况下，融合低空间分辨率HSI与高空间分辨率多光谱图像（MSI），实现性能最优。该方法采用共享编码器-解码器架构，并在表征上施加稀疏狄利克雷约束，结合角度相似性损失以保持光谱保真度，在基准数据集上实现了最先进性能。

ABSTRACT

In many computer vision applications, obtaining images of high resolution in both the spatial and spectral domains are equally important. However, due to hardware limitations, one can only expect to acquire images of high resolution in either the spatial or spectral domains. This paper focuses on hyperspectral image super-resolution (HSI-SR), where a hyperspectral image (HSI) with low spatial resolution (LR) but high spectral resolution is fused with a multispectral image (MSI) with high spatial resolution (HR) but low spectral resolution to obtain HR HSI. Existing deep learning-based solutions are all supervised that would need a large training set and the availability of HR HSI, which is unrealistic. Here, we make the first attempt to solving the HSI-SR problem using an unsupervised encoder-decoder architecture that carries the following uniquenesses. First, it is composed of two encoder-decoder networks, coupled through a shared decoder, in order to preserve the rich spectral information from the HSI network. Second, the network encourages the representations from both modalities to follow a sparse Dirichlet distribution which naturally incorporates the two physical constraints of HSI and MSI. Third, the angular difference between representations are minimized in order to reduce the spectral distortion. We refer to the proposed architecture as unsupervised Sparse Dirichlet-Net, or uSDN. Extensive experimental results demonstrate the superior performance of uSDN as compared to the state-of-the-art.

研究动机与目标

• 为解决监督式HSI-SR方法缺乏真实训练数据的问题，后者需要大规模HR HSI真实标签。
• 在利用高空间分辨率MSI提升低空间分辨率HSI的空间分辨率的同时，保留其丰富的光谱信息。
• 通过强制不同模态表征之间的角度相似性，最小化重建HR HSI中的光谱失真。
• 开发一种无监督框架，避免依赖成对HR HSI数据或已知下采样函数。
• 实现在真实世界条件下传感器特异性映射函数未知或可变时的鲁棒HSI-SR。

提出的方法

• 该方法采用共享解码器架构，并为HSI和MSI分别设计独立编码器，实现联合学习，同时保留模态特异的光谱与空间特性。
• 强制两种模态的表征遵循稀疏狄利克雷分布，以建模HSI与MSI的物理约束，即总和为一且稀疏的向量。
• 提出一种新型损失函数，结合重建损失与角度相似性损失，通过对齐HSI与MSI表征之间的角度差异，最小化光谱失真。
• 网络在无监督设置下进行训练，仅使用低分辨率HSI与高分辨率MSI配对数据，无需HR HSI真实标签。
• 优化过程中引入自由参数λ以控制稀疏性，μ用于解码器权重正则化，λ通过经验调优以最小化RMSE。
• 该框架假设线性光谱解混，即HR HSI与HR MSI可表示为学习到的光谱基底与空间表征的线性组合。

实验结果

研究问题

• RQ1 无监督深度学习框架能否在无需成对HR HSI真实标签的情况下有效实现HSI-SR？
• RQ2 在融合低空间分辨率HSI与高空间分辨率MSI时，如何在重建的HR HSI中保持光谱保真度？
• RQ3 对特征表征施加稀疏狄利克雷约束在多大程度上可提升重建质量并减少光谱失真？
• RQ4 HSI与MSI表征之间的角度相似性损失如何影响收敛性与光谱准确性？
• RQ5 稀疏性与总和为一的约束对学习到的空间表征与光谱基底有何影响？

主要发现

• uSDN在CAVE与WHU高光谱数据集上均达到最先进性能，在RMSE与SAM指标上均优于现有监督与无监督方法。
• 消融实验表明，结合稀疏狄利克雷约束与角度相似性损失可实现最低RMSE与最快收敛速度，且RMSE随训练进程显著下降。
• 学习到的空间表征S_m表现出明显稀疏性，直方图分析验证了模型在紧凑且有意义的特征编码设计上的有效性。
• uSDN学习到的光谱基底Φ_h有效覆盖数据分布，其在捕捉光谱变化全范围方面优于CSU与BSR。
• 模型收敛平稳，MSI网络仅因每10次迭代执行一次角度差异最小化而出现轻微波动。
• 最优λ值为1×10⁻⁶，该值可最小化RMSE，表明在优化过程中合理控制稀疏性至关重要。