[论文解读] The Role of Pre-Training in High-Resolution Remote Sensing Scene Classification.

Vladimir Risojević, Vladan Stojnić|arXiv (Cornell University)|Nov 5, 2021

Remote-Sensing Image Classification参考文献 27被引用 6

一句话总结

本文表明，在高分辨率遥感（HRRS）数据集上从零开始训练视觉模型，其性能可与微调ImageNet预训练模型相媲美。此外，研究还发现直接在HRRS数据上学习的表征在迁移到下游任务时的泛化能力优于ImageNet表征，而领域自适应预训练——即在第二阶段使用领域内数据进行进一步预训练——可生成最佳特征。

ABSTRACT

Due to the scarcity of labeled data, using models pre-trained on ImageNet is a de facto standard in remote sensing scene classification. Although, recently, several larger high resolution remote sensing (HRRS) datasets have appeared with a goal of establishing new benchmarks, attempts at training models from scratch on these datasets are sporadic. In this paper, we show that training models from scratch on several newer datasets yields comparable results to fine-tuning the models pre-trained on ImageNet. Furthermore, the representations learned on HRRS datasets transfer to other HRRS scene classification tasks better or at least similarly as those learned on ImageNet. Finally, we show that in many cases the best representations are obtained by using a second round of pre-training using in-domain data, i.e. domain-adaptive pre-training. The source code and pre-trained models are available at \url{https://github.com/risojevicv/RSSC-transfer.}

研究动机与目标

• 评估在高分辨率遥感（HRRS）数据集上从零开始训练视觉模型是否能达到与微调ImageNet预训练模型相当的性能。
• 研究在HRRS数据集上学习的表征与在ImageNet上学习的表征相比，其迁移能力如何。
• 检验使用领域内HRRS数据进行第二阶段预训练是否能提升特征质量和下游性能。
• 通过展示领域内预训练的有效性，建立HRRS场景分类的新基准。

提出的方法

• 在EuroSAT、AID和WHU-OPT等近期HRRS数据集上，从零开始训练ResNets和Vision Transformers等视觉模型。
• 将从零开始训练的模型性能与在相同HRRS基准上微调ImageNet预训练权重的模型进行比较。
• 通过在HRRS数据上进一步预训练ImageNet权重，再在下游任务上进行微调，实施领域自适应预训练。
• 在多个HRRS场景分类数据集上评估迁移性能，以衡量表征的泛化能力。
• 使用top-1准确率等标准指标，定量比较不同预训练策略的有效性。

实验结果

研究问题

• RQ1 在HRRS数据集上从零开始训练是否能达到与微调ImageNet预训练模型相当的性能？
• RQ2 在HRRS数据上学习的表征与在ImageNet上学习的表征相比，其迁移能力如何？
• RQ3 在HRRS数据上进行第二阶段预训练是否能进一步提升特征质量和下游性能？
• RQ4 在ImageNet微调、仅HRRS预训练和领域自适应预训练这三种策略中，哪一种能为HRRS场景分类生成最佳表征？

主要发现

• 在多个HRRS场景分类基准上，从零开始在HRRS数据集上训练模型的性能可与微调ImageNet预训练模型相媲美。
• 直接在HRRS数据上学习的表征在迁移到其他HRRS任务时，其表现与ImageNet表征相当或更优。
• 领域自适应预训练——即在微调前先用HRRS数据对ImageNet权重进行预训练——在所有评估数据集上均生成了性能最佳的特征。
• 当模型经历使用领域内HRRS数据的第二阶段预训练后，整体性能始终达到最优，表明领域特定预训练可提升特征质量。