[论文解读] Shorten Spatial-spectral RNN with Parallel-GRU for Hyperspectral Image Classification

Haowen Luo|arXiv (Cornell University)|Oct 30, 2018

Remote-Sensing Image Classification被引用 15

一句话总结

本文提出了一种新型深度学习模型 St-SS-pGRU，用于高光谱图像分类，该模型结合了缩短的时空循环神经网络（RNN）与并行门控循环单元（parallel-GRU）架构。通过减少序列长度并引入卷积层进行空间特征提取，该模型在标准 RNN 和 GRU 的基础上实现了更高的准确率和更快的训练速度，在 Pavia 大学数据集上达到了 99.01% 的总体准确率，并通过降低方差提升了模型鲁棒性。

ABSTRACT

Convolutional neural networks (CNNs) attained a good performance in hyperspectral sensing image (HSI) classification, but CNNs consider spectra as orderless vectors. Therefore, considering the spectra as sequences, recurrent neural networks (RNNs) have been applied in HSI classification, for RNNs is skilled at dealing with sequential data. However, for a long-sequence task, RNNs is difficult for training and not as effective as we expected. Besides, spatial contextual features are not considered in RNNs. In this study, we propose a Shorten Spatial-spectral RNN with Parallel-GRU (St-SS-pGRU) for HSI classification. A shorten RNN is more efficient and easier for training than band-by-band RNN. By combining converlusion layer, the St-SSpGRU model considers not only spectral but also spatial feature, which results in a better performance. An architecture named parallel-GRU is also proposed and applied in St-SS-pGRU. With this architecture, the model gets a better performance and is more robust.

研究动机与目标

• 为解决传统 RNN 在高光谱图像（HSI）分类中的局限性，如训练速度慢以及在长光谱序列上表现不佳的问题。
• 通过将光谱数据建模为序列数据并利用 RNN，克服 CNN 对光谱顺序不敏感的问题。
• 通过引入缩短的 RNN 结构以减少序列长度，提升训练效率和泛化能力。
• 通过一种新颖的并行 GRU 架构，同时处理多个光谱段，提升模型鲁棒性和性能。
• 通过卷积层整合空间上下文信息，实现在 HSI 分类中光谱与空间特征的联合学习。

提出的方法

• 设计了一种缩短的 RNN，通过分组光谱波段减少时间步数，从而加速训练并缓解梯度消失问题。
• 通过在 RNN 之前堆叠卷积层以提取局部空间特征，构建了时空 RNN 架构，随后使用 GRU 进行序列建模。
• 并行 GRU 架构将输入序列分割为多个并行分支，每个分支由独立的 GRU 处理，最后将输出拼接，以提升特征表示能力和模型鲁棒性。
• 模型采用基于 GRU 的循环单元，通过更新门和重置门有选择性地保留或遗忘跨光谱波段的信息。
• 最终分类层使用全连接层配合 softmax 激活函数，从最终隐藏状态预测地物覆盖类别。
• 整个网络采用随机梯度下降法，结合交叉熵损失函数进行端到端训练。

实验结果

研究问题

• RQ1 与逐波段 RNN 相比，缩短的 RNN 架构是否能在高光谱图像分类中提升训练效率和性能？
• RQ2 在 RNN 框架中集成卷积层是否能增强 HSI 分类中的光谱-空间特征学习？
• RQ3 所提出的并行 GRU 架构在 HSI 数据集上的准确率和鲁棒性方面，与标准 GRU 相比如何？
• RQ4 GRU 是否能在 HSI 分类任务中优于 LSTM，特别是在收敛速度和泛化能力方面？
• RQ5 所提出的 St-SS-pGRU 模型在多次训练运行中，是否显著降低了方差并提升了稳定性？

主要发现

• St-SS-pGRU 模型在 Pavia 大学数据集上实现了 99.01% 的总体准确率，显著优于标准 GRU（87.79%）和 LSTM（84.68%）。
• 在 Indian Pines 数据集上，St-SS-pGRU 达到 89.61% 的总体准确率，较 St-SS-GRU 提升 3.19%，较标准 GRU 提升 12.6%。
• St-SS-pGRU 模型的标准差更低（Pavia 大学为 0.26%，Indian Pines 为 0.86%），表明其在多次训练运行中具有更高的鲁棒性和稳定性。
• St-GRU 在 Pavia 大学上的训练时间缩短至仅 7.31 秒，在 Indian Pines 上为 7.63 秒，相比标准 GRU（分别为 232.15 秒和 442.67 秒）有显著提升。
• St-SS-pGRU 在准确率上优于 St-SS-GRU 和 St-GRU，证实了并行 GRU 架构在增强特征表示方面的有效性。
• GRU 在准确率和收敛速度方面均优于 LSTM，且在实验中 LSTM 未能实现可靠收敛。