[论文解读] Remote Sensing Image Scene Classification with Self-Supervised Paradigm under Limited Labeled Samples

Chao Tao, Ji Qi+3 more|arXiv (Cornell University)|Oct 2, 2020

Remote-Sensing Image Classification参考文献 18被引用 5

一句话总结

本文提出了一种用于遥感图像（RSI）场景分类的自监督学习（SSL）范式，通过在大规模未标注RSI数据上使用掩蔽任务进行预训练，显著优于在有限标注数据下使用ImageNet预训练的方法。该方法在三个基准数据集上实现了最先进性能，尤其在标注样本稀缺时表现更优，通过减少域偏移并提升特征泛化能力实现。

ABSTRACT

With the development of deep learning, supervised learning methods perform well in remote sensing images (RSIs) scene classification. However, supervised learning requires a huge number of annotated data for training. When labeled samples are not sufficient, the most common solution is to fine-tune the pre-training models using a large natural image dataset (e.g. ImageNet). However, this learning paradigm is not a panacea, especially when the target remote sensing images (e.g. multispectral and hyperspectral data) have different imaging mechanisms from RGB natural images. To solve this problem, we introduce new self-supervised learning (SSL) mechanism to obtain the high-performance pre-training model for RSIs scene classification from large unlabeled data. Experiments on three commonly used RSIs scene classification datasets demonstrated that this new learning paradigm outperforms the traditional dominant ImageNet pre-trained model. Moreover, we analyze the impacts of several factors in SSL on RSIs scene classification tasks, including the choice of self-supervised signals, the domain difference between the source and target dataset, and the amount of pre-training data. The insights distilled from our studies can help to foster the development of SSL in the remote sensing community. Since SSL could learn from unlabeled massive RSIs which are extremely easy to obtain, it will be a potentially promising way to alleviate dependence on labeled samples and thus efficiently solve many problems, such as global mapping.

研究动机与目标

• 解决深度学习方法在场景分类中遥感图像（RSI）标注数据有限的挑战。
• 克服在多光谱/高光谱RSI上微调ImageNet预训练模型时固有的域偏移问题。
• 开发一种基于未标注RSI数据的自监督预训练框架，以学习鲁棒且可迁移的表征。
• 研究自监督信号、域差异以及预训练数据量对RSI场景分类性能的影响。
• 建立一种新范式，减少对昂贵人工标注数据的依赖，实现更有效的RSI场景分类。

提出的方法

• 在自监督学习中采用实例判别作为核心掩蔽任务，通过对比同一图像的不同增强视图中的正样本对与负样本对。
• 使用对比学习目标，在大规模未标注RSI数据集（如EuroSAT、AID、NR）上对基于ResNet的编码器进行预训练。
• 固定预训练编码器的权重，仅在小规模标注目标数据集上微调最后的全连接层。
• 采用数据增强策略（如随机裁剪、颜色抖动和高斯模糊）生成正样本和负样本视图。
• 使用Adam优化器，采用余弦退火学习率调度，在200个周期内训练，批量大小为64。
• 在消融研究中，将基于SSL的方法与ImageNet预训练和MATAR GANs进行比较，使用SVM对提取的特征进行分类。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，基于未标注RSI数据的自监督学习是否能产生优于ImageNet预训练的表征，用于场景分类？
• RQ2 自监督信号的选择（如实例判别）对下游RSI场景分类任务的性能有何影响？
• RQ3 源数据集（预训练）与目标数据集（微调）之间的域差异在多大程度上影响自监督模型的性能？
• RQ4 预训练数据量在多大程度上影响自监督表征在RSI场景分类中的泛化能力？
• RQ5 与传统预训练方法相比，所提出的SSL方法在小标注数据设置下是否更具鲁棒性？

主要发现

• 所提出的基于实例判别的SSL方法在所有三个数据集（EuroSAT、AID、NR）上均优于ImageNet预训练，尤其在标注数据极少时表现更优。
• 在NR数据集上，每类仅5个标注样本时，IDSSL达到80.63%的整体准确率，而ImageNet预训练的ResNet50仅为59.63%。
• 当每类标注数据从20个减少到5个时，IDSSL的性能仅下降6.02%，而ImageNet和MATAR GANs分别下降19.13%和26.24%。
• 在NR数据集的25,200个未标注样本上进行预训练，达到80.63%的整体准确率，表明即使在监督有限的情况下性能依然强劲。
• 当结合AID、NR和EuroSAT三个数据集的预训练数据时，该方法在AID上达到84.20%的整体准确率，在NR上达到81.13%。
• 研究证实，预训练与目标数据之间的域对齐至关重要，且SSL比ImageNet预训练更能有效缓解域偏移。