[论文解读] SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification

Tanmay Chakraborty, Utkarsh Trehan|arXiv (Cornell University)|Apr 1, 2021

Remote-Sensing Image Classification参考文献 28被引用 41

一句话总结

SpectralNET 引入了一种基于小波的 CNN，将来自 Haar 小波变换的光谱特征与空间 CNN 特征融合，在 IP、UP 和 SA 数据集上用小样本训练实现了最先进的超谱图像分类。

ABSTRACT

Hyperspectral Image (HSI) classification using Convolutional Neural Networks (CNN) is widely found in the current literature. Approaches vary from using SVMs to 2D CNNs, 3D CNNs, 3D-2D CNNs. Besides 3D-2D CNNs and FuSENet, the other approaches do not consider both the spectral and spatial features together for HSI classification task, thereby resulting in poor performances. 3D CNNs are computationally heavy and are not widely used, while 2D CNNs do not consider multi-resolution processing of images, and only limits itself to the spatial features. Even though 3D-2D CNNs try to model the spectral and spatial features their performance seems limited when applied over multiple dataset. In this article, we propose SpectralNET, a wavelet CNN, which is a variation of 2D CNN for multi-resolution HSI classification. A wavelet CNN uses layers of wavelet transform to bring out spectral features. Computing a wavelet transform is lighter than computing 3D CNN. The spectral features extracted are then connected to the 2D CNN which bring out the spatial features, thereby creating a spatial-spectral feature vector for classification. Overall a better model is achieved that can classify multi-resolution HSI data with high accuracy. Experiments performed with SpectralNET on benchmark dataset, i.e. Indian Pines, University of Pavia, and Salinas Scenes confirm the superiority of proposed SpectralNET with respect to the state-of-the-art methods. The code is publicly available in https://github.com/tanmay-ty/SpectralNET.

研究动机与目标

• 激励需要能够同时建模高光谱图像（HSI）中的光谱信息和空间信息的方法。
• 提出 SpectralNET，一种扩展的 2D-CNN，结合多级 Haar 小波变换以高效提取光谱特征。
• 证明来自小波的光谱特征在与空间 CNN 特征融合时，能提升基准 HSI 数据集上的分类性能。

提出的方法

• 用因子分析对高光谱成像(HSI)进行预处理，将波段从 R 减少到 B（FA 保留光谱变异性）。
• 提取重叠的 SxSxB 补丁（S 在各数据集上取值：IP 为 64，UP/SA 为 24）。
• 在多个层中应用四个 Haar 小波子带（低/高）以生成多分辨率的光谱-空间特征。
• 使用 1x1 投影和密集连接以维持特征流并缓解梯度消失。
• 全局均值池化、 dropout 和批归一化以降低过拟合；SGD（lr=0.01，momentum=0.9）训练 150 轮。
• 在 IP、UP、SA 数据集上训练和评估 SpectralNET；并与 SVM、2D-CNN、3D-CNN、M3D-CNN、FuSENet、HybridSN 进行比较。

实验结果

研究问题

• RQ1 带有基于小波的多分辨率光谱特征的 2D-CNN 是否能超越最先进的光谱-空间模型在 HSI 分类中的表现？
• RQ2 将 Haar 小波光谱特征与空间 CNN 特征耦合是否在具有有限训练数据的标准 HSI 基准上提升准确性？
• RQ3 在不同训练划分下，SpectralNET 在具有不同光谱和空间特征的数据集（IP、UP、SA）上的表现如何？
• RQ4 在为小波-CNN 分类准备 HSI 数据时，基于 FA 的降维是否优于 PCA？

主要发现

训练样本	IP OA	IP Kappa	IP AA	UP OA	UP Kappa	UP AA	SA OA	SA Kappa	SA AA
10%	98.76	98.59	98.61	99.71	99.62	99.43	99.96	99.96	99.97
30%	99.86	99.84	99.98	99.99	99.98	99.98	100	100	100

• SpectralNET 在 IP、UP、SA 数据集上，在 10% 与 30% 训练划分下的准确率均高于竞争方法。
• 在 10% 训练时，SpectralNET 的 IP OA 98.76%，IP Kappa 98.59%，IP AA 98.61%；UP OA 99.71%，UP Kappa 99.62%，UP AA 99.43%；SA OA 99.96%，SA Kappa 99.96%，SA AA 99.97%。
• 在 30% 训练时，SpectralNET 的 IP OA 99.86%，IP Kappa 99.84%，IP AA 99.98%；UP OA 99.99%，UP Kappa 99.98%，UP AA 99.98%；SA OA 100%，SA Kappa 100%，SA AA 100%。
• SpectralNET 在两种训练设置下，在所有三个数据集上均优于 SVM、2D-CNN、3D-CNN、M3D-CNN、FuSENet 和 HybridSN。
• 基于小波的光谱特征为 3D-CNN 提供了一种更轻量的替代方案，同时实现具有竞争力或更高的准确性。