[论文解读] TOV: The Original Vision Model for Optical Remote Sensing Image Understanding via Self-supervised Learning

Chao Tao, Ji Qia+4 more|arXiv (Cornell University)|Apr 10, 2022

Remote-Sensing Image Classification被引用 9

一句话总结

本文提出 TOV（原始视觉模型），一种用于光学遥感图像理解的自监督学习框架，通过类人、任务无关的方式在大规模未标注遥感图像上预训练一个通用视觉模型。TOV 采用两阶段自监督学习路径——从通用自然图像到特定领域的遥感图像——在 12 个场景分类、目标检测和语义分割基准上实现了最先进性能，优于 ImageNet 监督预训练和近期的自监督学习方法。

ABSTRACT

Do we on the right way for remote sensing image understanding (RSIU) by training models via supervised data-dependent and task-dependent way, instead of human vision in a label-free and task-independent way? We argue that a more desirable RSIU model should be trained with intrinsic structure from data rather that extrinsic human labels to realize generalizability across a wide range of RSIU tasks. According to this hypothesis, we proposed extbf{T}he extbf{O}riginal extbf{V}ision model (TOV) in remote sensing filed. Trained by massive unlabeled optical data along a human-like self-supervised learning (SSL) path that is from general knowledge to specialized knowledge, TOV model can be easily adapted to various RSIU tasks, including scene classification, object detection, and semantic segmentation, and outperforms dominant ImageNet supervised pretrained method as well as two recently proposed SSL pretrained methods on majority of 12 publicly available benchmarks. Moreover, we analyze the influences of two key factors on the performance of building TOV model for RSIU, including the influence of using different data sampling methods and the selection of learning paths during self-supervised optimization. We believe that a general model which is trained by a label-free and task-independent way may be the next paradigm for RSIU and hope the insights distilled from this study can help to foster the development of an original vision model for RSIU.

研究动机与目标

• 为解决遥感领域中任务特定、依赖标签的深度学习局限性，提出一种受人类视觉感知启发的通用、无标签视觉模型。
• 探究在大规模未标注遥感数据上进行自监督学习，是否能获得比当前监督方法或对比自监督学习方法更具通用性和适应性的视觉模型。
• 探索数据采样策略和学习路径设计对通用遥感视觉模型性能的影响。
• 建立一种新的遥感图像理解范式，通过内在数据结构学习而非外在人工标注，模拟人类视觉。
• 证明单一预训练模型可在极少微调下有效泛化至多样化的遥感图像理解任务。

提出的方法

• TOV 使用两阶段自监督学习（SSL）流水线进行预训练：首先在大规模网络自然图像上（TOV-NI），然后在大规模未标注遥感图像上（TOV-RS-balanced）。
• 模型采用基于实例判别法的对比自监督学习，通过区分正样本对与负样本对来学习不变特征，并对数据应用增强以生成正样本对。
• 在持续学习过程中实施记忆保持策略，以缓解在顺序数据集（自然图像后接遥感图像）上训练时的灾难性遗忘问题。
• 模型采用双路径学习策略：$\<D_{NI}\rangle$, $\<D_{RS}\rangle$, 和 $\<D_{NI}, D_{RS}\rangle$，以评估学习顺序和数据源多样性对性能的影响。
• 评估数据采样策略，以分析其对模型泛化能力的影响，特别是在处理遥感数据集中的类别不平衡问题时。
• 在 12 个公开遥感基准上进行微调，涵盖场景分类、目标检测和语义分割任务，以评估模型的迁移能力。

实验结果

研究问题

• RQ1 在大规模未标注遥感图像上预训练的自监督视觉模型，是否能在多样化的遥感图像理解任务中实现优于监督方法或现有自监督学习方法的泛化性能？
• RQ2 预训练顺序——即从通用自然图像开始，再转向遥感图像——如何影响最终模型的性能？
• RQ3 数据采样策略对 TOV 模型的鲁棒性和泛化能力有何影响，特别是在类别不平衡的遥感数据集中？
• RQ4 记忆保持策略在防止异构数据源顺序预训练过程中的灾难性遗忘方面有多有效？
• RQ5 将自然图像与遥感图像的知识相结合，相较于单独使用任一数据集，能否显著提升特征表示能力？

主要发现

• TOV 在 12 个公开遥感基准中的 10 个上，于场景分类、目标检测和语义分割任务中，均优于 ImageNet 监督预训练和两种近期自监督学习方法。
• 两阶段学习路径——即先在自然图像上预训练，再在遥感图像上微调——相比仅使用自然图像，平均准确率提升 6.63%；相比仅使用遥感图像，提升 11.95%。
• 在持续学习中采用记忆保持策略的模型，其性能显著优于未使用该策略的模型（平均总体准确率分别为 67.24% 和 59.90%），证实其在缓解灾难性遗忘方面的有效性。
• 在通用到专用的学习路径中结合自然图像与遥感图像数据，可获得最佳性能，表明来自多样化数据源的互补知识增益。
• 仅在遥感图像上训练的模型性能甚至低于仅在自然图像上训练的模型，表明仅使用遥感图像不足以学习通用视觉表征。
• 数据采样方法的选择显著影响性能，尤其在类别不平衡场景下，不当采样会增加假阴性，降低特征学习质量。