[论文解读] Transfer Learning with Pretrained Remote Sensing Transformers

Anthony T. Fuller, Koreen Millard+1 more|arXiv (Cornell University)|Sep 28, 2022

Remote-Sensing Image Classification被引用 6

一句话总结

本文提出 SatViT-V2，一种在 130 万张遥感图像上预训练的视觉Transformer模型，并在多种生物群落中评估其迁移学习性能。该模型在分布外数据上表现出更强的鲁棒性，相较于先前模型在分布外数据上提升 2.8%，并通过线性探针微调改善了校准性能，在 1,638 次生物群落迁移实验中展现出优异的泛化能力。

ABSTRACT

Although the remote sensing (RS) community has begun to pretrain transformers (intended to be fine-tuned on RS tasks), it is unclear how these models perform under distribution shifts. Here, we pretrain a new RS transformer--called SatViT-V2--on 1.3 million satellite-derived RS images, then fine-tune it (along with five other models) to investigate how it performs on distributions not seen during training. We split an expertly labeled land cover dataset into 14 datasets based on source biome. We train each model on each biome separately and test them on all other biomes. In all, this amounts to 1638 biome transfer experiments. After fine-tuning, we find that SatViT-V2 outperforms SatViT-V1 by 3.1% on in-distribution (matching biomes) and 2.8% on out-of-distribution (mismatching biomes) data. Additionally, we find that initializing fine-tuning from the linear probed solution (i.e., leveraging LPFT [1]) improves SatViT-V2's performance by another 1.2% on in-distribution and 2.4% on out-of-distribution data. Next, we find that pretrained RS transformers are better calibrated under distribution shifts than non-pretrained models and leveraging LPFT results in further improvements in model calibration. Lastly, we find that five measures of distribution shift are moderately correlated with biome transfer performance. We share code and pretrained model weights. (https://github.com/antofuller/SatViT)

研究动机与目标

• 评估预训练遥感视觉Transformer在多种生物群落中分布偏移下的鲁棒性。
• 探究使用预训练视觉Transformer进行迁移学习是否能提升在分布外遥感数据上的性能。
• 评估线性探针微调（LPFT）在分布偏移下对模型准确率和校准性能的影响。
• 识别与迁移学习性能相关的可测量分布偏移指标。
• 发布代码和预训练权重以支持可复现性及社区使用。

提出的方法

• 使用自监督对比学习方法，在 130 万张由卫星生成的遥感图像上预训练视觉Transformer（SatViT-V2）。
• 在 14 个专家标注的土地覆盖数据集上微调 SatViT-V2 及五个基线模型，每个数据集对应一个独立的生物群落。
• 通过 1,638 次迁移实验评估性能，即在一个生物群落上训练并在其余所有生物群落上测试，以模拟分布偏移。
• 将线性探针微调（LPFT）作为初始化策略，以提升收敛速度和泛化能力。
• 使用期望校准误差（ECE）量化模型校准性，并比较在分布内与分布外设置下的校准性能。
• 测量五种分布偏移指标（如领域差异、特征分布偏移等），并将其与迁移准确率进行相关性分析。

实验结果

研究问题

• RQ1 与 SatViT-V1 等先前模型相比，SatViT-V2 在分布外遥感数据上的表现如何？
• RQ2 线性探针微调（LPFT）在分布偏移下对准确率和校准性能的提升程度如何？
• RQ3 是否存在与遥感迁移学习性能相关的可测量分布偏移指标？
• RQ4 模型在校准性能上如何随分布偏移变化？LPFT 是否能改善这一性能？
• RQ5 LPFT 带来的性能增益是否在多种生物群落和分布偏移下均持续有效？

主要发现

• 在所有生物群落迁移实验中，SatViT-V2 在分布内数据上相比 SatViT-V1 提升 3.1%，在分布外数据上提升 2.8%。
• 线性探针微调（LPFT）使 SatViT-V2 在分布内数据上提升 1.2%，在分布外数据上提升 2.4%。
• 在分布偏移下，预训练模型的校准性能优于非预训练模型，且 LPFT 进一部提升了校准质量。
• 五种分布偏移度量与生物群落迁移性能呈中等相关性，表明其具备作为预测性偏移感知评估指标的潜力。
• 该模型在全部 14 个生物群落中均实现一致性能增益，展示了在真实遥感场景中强大的泛化能力。
• 作者发布了代码和预训练权重，以支持遥感视觉表征学习领域的可复现性与未来研究。