[论文解读] Progressive Domain Adaptation with Contrastive Learning for Object Detection in the Satellite Imagery

Debojyoti Biswas, Jelena Tešić|arXiv (Cornell University)|Sep 6, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 LGDA，一种结合对比学习的渐进式域自适应框架，用于卫星图像中的小目标检测。通过整合空间金字塔池化、基于热力图的区域建议网络以及一种新颖的难度感知焦点损失，该方法利用局部和全局对比学习提升特征学习与域对齐效果，在 DOTA 和 NWPU VHR-10 基准测试中，mAP 最高提升 7.4%。

ABSTRACT

State-of-the-art object detection methods applied to satellite and drone imagery largely fail to identify small and dense objects. One reason is the high variability of content in the overhead imagery due to the terrestrial region captured and the high variability of acquisition conditions. Another reason is that the number and size of objects in aerial imagery are very different than in the consumer data. In this work, we propose a small object detection pipeline that improves the feature extraction process by spatial pyramid pooling, cross-stage partial networks, heatmap-based region proposal network, and object localization and identification through a novel image difficulty score that adapts the overall focal loss measure based on the image difficulty. Next, we propose novel contrastive learning with progressive domain adaptation to produce domain-invariant features across aerial datasets using local and global components. We show we can alleviate the degradation of object identification in previously unseen datasets. We create a first-ever domain adaptation benchmark using contrastive learning for the object detection task in highly imbalanced satellite datasets with significant domain gaps and dominant small objects. The proposed method results in a 7.4% increase in mAP performance measure over the best state-of-art.

研究动机与目标

• 解决在高度多变的卫星与无人机图像中检测小而密集目标的挑战。
• 克服因地理、光照及采集条件差异导致的源域与目标域卫星数据集之间的域偏移问题。
• 利用对比学习提升低资源、类别不平衡的航空图像数据集中的特征表示与模型泛化能力。
• 设计一种渐进式域自适应流程，通过多个中间域逐步对齐特征，以减小域差距。
• 在具有显著域差距与类别不平衡的基准卫星数据集中实现最先进性能。

提出的方法

• 提出一种基于热力图的区域建议网络（RPN），以更精准地定位航空图像中的小而密集目标。
• 设计一种难度感知焦点损失，根据图像级难度动态调整损失权重，以更好地处理难分类样本。
• 通过对比学习实现局部特征对齐（LDA），在源域与目标域之间对齐细粒度、空间局部化的特征。
• 提出基于高感受野特征的全局域对齐（GDA），利用对比学习捕捉语义级别的域不变性。
• 将 LDA 与 GDA 模块整合进统一的渐进式域自适应框架（LGDA）中，并结合多尺度特征融合。
• 优化超参数，包括负样本数量（7）、温度值（12% 惩罚）、训练周期（60 轮），以实现稳健的对比学习。

实验结果

研究问题

• RQ1 在具有高度地理与环境差异性的卫星图像中，对比学习能否有效缓解域偏移？
• RQ2 通过中间域实现的渐进式域自适应，在多样化航空数据集中是否能提升小目标检测的泛化能力？
• RQ3 在类别不平衡、高变异性的卫星数据集中，难度感知损失重加权在多大程度上能提升检测性能？
• RQ4 哪些超参数设置（如负样本数量、温度值）能实现对比学习在小目标检测中的最优性能？
• RQ5 结合局部与全局对比对齐是否能带来优于单一层次对齐的 mAP 表现？

主要发现

• 所提出的 LGDA 方法在 DOTA 目标数据集上达到 46.7% mAP，优于现有最佳方法 MGADA 的 +7.3% mAP。
• 在 NWPU VHR-10 数据集上，LGDA 达到 71.4% mAP，较 MGADA 提升 +4.6%。
• 在损失函数中为局部对比学习（LDA）设置 0.1 的权重时，在 DOTA 和 NWPU 数据集上分别实现超过 8% 和 12% 的 mAP 提升。
• 全局域对齐（GDA）使用较低权重（0.01）时表现优于 LDA，表明高层语义对齐的重要性。
• 每组对比损失使用 7 个负样本时达到最佳平衡；超过此数量会因类别不平衡数据中引入错误负样本而损害性能。
• 采用 60 轮训练并施加 12% 的对比损失惩罚时性能最佳；进一步训练或提高惩罚值会导致性能下降。