[论文解读] Spectral Pyramid Graph Attention Network for Hyperspectral Image Classification

Tinghuai Wang, Guangming Wang+2 more|arXiv (Cornell University)|Jan 20, 2020

Remote-Sensing Image Classification参考文献 13被引用 8

一句话总结

该论文提出了一种光谱金字塔图注意力网络（SPGAT），用于高光谱图像分类，利用空洞卷积捕捉多尺度光谱上下文，并通过图注意力机制动态建模空间-光谱依赖关系。该方法在三个基准数据集上实现了最先进性能，相较于基线模型准确率最高提升3.67%。

ABSTRACT

Convolutional neural networks (CNN) have made significant advances in hyperspectral image (HSI) classification. However, standard convolutional kernel neglects the intrinsic connections between data points, resulting in poor region delineation and small spurious predictions. Furthermore, HSIs have a unique continuous data distribution along the high dimensional spectrum domain - much remains to be addressed in characterizing the spectral contexts considering the prohibitively high dimensionality and improving reasoning capability in light of the limited amount of labelled data. This paper presents a novel architecture which explicitly addresses these two issues. Specifically, we design an architecture to encode the multiple spectral contextual information in the form of spectral pyramid of multiple embedding spaces. In each spectral embedding space, we propose graph attention mechanism to explicitly perform interpretable reasoning in the spatial domain based on the connection in spectral feature space. Experiments on three HSI datasets demonstrate that the proposed architecture can significantly improve the classification accuracy compared with the existing methods.

研究动机与目标

• 为解决标准卷积神经网络在捕捉高光谱图像（HSIs）中固有的空间-光谱关系方面的局限性。
• 克服标准卷积固有的感受野限制和各向同性核行为，以改善区域边界划分并减少错误预测。
• 在高光谱维度高且标注数据有限的条件下，有效建模多尺度光谱上下文。
• 通过基于光谱特征相似性的动态图构建，而非刚性空间网格，增强模型的推理能力。
• 通过在多个上下文层次上关注判别性光谱通道，提升特征聚合效果。

提出的方法

• 该方法使用不同膨胀率的空洞卷积构建光谱金字塔，在多个嵌入空间中编码多尺度光谱上下文信息。
• 在每个光谱嵌入空间中，应用图注意力网络（GAT）基于光谱特征相似性，动态建模邻近像素之间的可学习关系。
• 图节点通过注意力机制实现动态连接，根据光谱和空间接近度加权邻居的重要性。
• 光谱注意力模块在不同上下文层次间聚合特征，聚焦于最具判别性的通道，而非采用简单平均。
• 该架构端到端可训练，结合光谱金字塔学习与基于图的推理，以增强特征表示。
• 在光谱聚合阶段采用多头注意力机制，根据上下文范围突出显示信息量丰富的光谱波段。

实验结果

研究问题

• RQ1 多尺度光谱上下文表征是否能提升高维且标注数据有限的高光谱图像分类性能？
• RQ2 基于光谱特征相似性的动态图构建，相较于固定空间网格，如何提升空间-光谱推理能力？
• RQ3 在基于图的模型中，跨多个光谱上下文的注意力特征聚合是否优于简单平均？
• RQ4 所提出的图注意力机制在多大程度上减少了错误预测并改善了区域边界划分？
• RQ5 在标准高光谱图像基准数据集上，光谱金字塔与图注意力的结合相较于现有的GCN和CNN方法表现如何？

主要发现

• 在博洛尼亚大学数据集上，SPGAT实现了98.92%的总体准确率（OA），较基线SPGAT-1（95.25%）提升3.67%。
• 将图注意力层替换为标准GCN（SPGCN）后，OA降至96.37%，表明注意力机制显著提升了性能。
• 与简单平均（SPGAT-Avg）相比，光谱注意力模块使OA提升0.31%，证明了选择性特征聚合的价值。
• 在印第安松林数据集上，SPGAT实现96.75%的OA，优于所有对比方法，包括SSLSTM和LBMSELM。
• 在肯尼迪航天中心数据集上，SPGAT实现98.15%的OA，优于SSLSTM（97.89%）及其他基于图的方法。
• 在肯尼迪航天中心数据集上，SPGAT取得了最高的Kappa系数（97.84），证实其在不同数据集上的鲁棒性与一致性。