[论文解读] Multiscale Convolutional Transformer with Center Mask Pretraining for Hyperspectral Image Classification

Sen Jia, Yifan Wang|arXiv (Cornell University)|Mar 9, 2022

Remote-Sensing Image Classification被引用 8

一句话总结

本文提出了一种多尺度卷积Transformer主干网络，并采用一种新颖的中心掩码预训练策略用于高光谱图像（HSI）分类。通过仅掩码中心像素的token并重建其光谱，该方法增强了局部-全局特征学习，提升了性能，在Salinas数据集上实现了92.04%的整体准确率，相比最先进方法最高提升2.14%。

ABSTRACT

Hyperspectral images (HSI) not only have a broad macroscopic field of view but also contain rich spectral information, and the types of surface objects can be identified through spectral information, which is one of the main applications in hyperspectral image related research.In recent years, more and more deep learning methods have been proposed, among which convolutional neural networks (CNN) are the most influential. However, CNN-based methods are difficult to capture long-range dependencies, and also require a large amount of labeled data for model training.Besides, most of the self-supervised training methods in the field of HSI classification are based on the reconstruction of input samples, and it is difficult to achieve effective use of unlabeled samples. To address the shortcomings of CNN networks, we propose a noval multi-scale convolutional embedding module for HSI to realize effective extraction of spatial-spectral information, which can be better combined with Transformer network.In order to make more efficient use of unlabeled data, we propose a new self-supervised pretask. Similar to Mask autoencoder, but our pre-training method only masks the corresponding token of the central pixel in the encoder, and inputs the remaining token into the decoder to reconstruct the spectral information of the central pixel.Such a pretask can better model the relationship between the central feature and the domain feature, and obtain more stable training results.

研究动机与目标

• 解决CNN在捕捉长距离依赖关系方面的局限性，以及标注HSI数据稀缺的问题。
• 通过设计更有效的掩码任务，克服现有自监督预训练方法在HSI中不稳定与低效的问题。
• 通过为高光谱数据量身定制的多尺度卷积嵌入模块，提升空间-光谱特征提取能力。
• 通过一种新颖的中心掩码重建预训练策略，增强模型在少样本场景下的泛化能力与性能。

提出的方法

• 引入多尺度卷积嵌入（MCE）模块，利用3D卷积与光谱分割，在多个尺度上提取空间-光谱特征。
• 设计中心掩码预训练（CMR）任务，仅掩码中心像素的token，模型从周围特征中重建其光谱特征。
• 将MCE模块与标准Transformer编码器结合，以在空间与光谱维度上建模长距离依赖关系。
• 采用类似掩码自编码器的目标函数，专注于重建中心像素的光谱，从而提升特征表示与训练稳定性。
• 在下游HSI分类任务中，仅使用少量标注样本对预训练模型进行微调。
• 对输入的高光谱立方体应用光谱分割，以实现高效线性嵌入并保留光谱信息。

实验结果

研究问题

• RQ1 基于中心像素重建的自监督预训练策略是否能提升高光谱图像分类中的特征学习？
• RQ2 与Transformer中标准线性嵌入相比，多尺度卷积嵌入模块是否能增强空间-光谱表征学习？
• RQ3 在稳定性和准确率方面，所提出的中心掩码预训练策略与标准重建或对比学习预训练相比如何？
• RQ4 在标注数据有限的少样本学习场景中，该方法在多大程度上降低了性能方差？

主要发现

• 所提方法在Salinas数据集上达到92.04%的整体准确率，优于第二名方法（CNNHSI，89.90%），提升2.14个百分点。
• 在YRE数据集上，该方法达到90.72%的整体准确率，超过基线模型（86.24%）4.48个百分点。
• 消融实验表明，MCE模块中引入IIE分支在Salinas上提升准确率0.47%，在YRE上提升2.12%。
• 与从零开始训练相比，采用中心掩码策略预训练使Salinas上的性能提升2.97%，YRE上提升2.20%。
• 预训练策略表现出鲁棒性，无论主干网络是否包含IIE分支，微调预训练模型均能获得具有竞争力的结果。
• 可视化结果表明，所提方法生成的分类图与真实标签高度一致，误分类数量少于对比模型。