[论文解读] Progressive Domain Adaptation for Object Detection

Han-Kai Hsu, Chun-Han Yao+5 more|arXiv (Cornell University)|Oct 24, 2019

Domain Adaptation and Few-Shot Learning被引用 25

一句话总结

该论文提出了一种用于目标检测的渐进式域自适应框架，通过使用图像到图像翻译生成的合成中间域，弥合源域与目标域之间的域差距。通过依次对齐从源域到中间域、再从中间域到目标域的特征，并应用质量感知加权损失，该方法在多种真实世界自适应场景（包括天气变化和大规模数据集自适应）中实现了最先进（SOTA）的mAP性能。

ABSTRACT

Recent deep learning methods for object detection rely on a large amount of bounding box annotations. Collecting these annotations is laborious and costly, yet supervised models do not generalize well when testing on images from a different distribution. Domain adaptation provides a solution by adapting existing labels to the target testing data. However, a large gap between domains could make adaptation a challenging task, which leads to unstable training processes and sub-optimal results. In this paper, we propose to bridge the domain gap with an intermediate domain and progressively solve easier adaptation subtasks. This intermediate domain is constructed by translating the source images to mimic the ones in the target domain. To tackle the domain-shift problem, we adopt adversarial learning to align distributions at the feature level. In addition, a weighted task loss is applied to deal with unbalanced image quality in the intermediate domain. Experimental results show that our method performs favorably against the state-of-the-art method in terms of the performance on the target domain.

研究动机与目标

• 解决在训练数据和测试数据来自不同分布时目标检测中的域偏移问题。
• 通过引入位于源域和目标域之间的合成中间域，降低直接域自适应的难度。
• 在存在较大域差距（如天气变化或相机差异）的场景中，提升模型的泛化能力和训练稳定性。
• 设计一种加权损失机制，以考虑中间域中合成图像质量的差异。
• 在多种自适应设置（包括跨数据集和大规模域偏移）下，实现在目标检测基准上的最先进性能。

提出的方法

• 通过基于GAN的图像到图像翻译网络，将源域图像翻译为更接近目标域图像的样式，从而构建一个中间域。
• 通过先对齐源域与中间域的特征，再对齐中间域与目标域的特征，实现渐进式域自适应。
• 在中间阶段和最终阶段使用对抗学习来对齐不同域之间的特征分布。
• 引入一种加权任务损失，根据判别器输出，为更接近目标域分布的合成图像分配更高的重要性。
• 将中间域作为桥梁，将大的域差距分解为两个更小、更易处理的自适应子任务。
• 端到端训练检测模型，结合域对齐损失和检测损失，并利用加权损失减轻低质量翻译图像带来的噪声影响。

实验结果

研究问题

• RQ1 引入一个中间合成域是否能提升目标检测模型在跨域自适应任务中的性能？
• RQ2 通过中间域进行渐进式自适应是否比直接域自适应带来更稳定的训练和更好的泛化性能？
• RQ3 中间域中合成图像的质量如何影响模型性能，这种影响能否被有效缓解？
• RQ4 所提出的方法是否能在多样化的现实世界目标检测基准上超越现有的最先进域自适应方法？
• RQ5 当从一个小型、标注良好的数据集迁移到一个大型、多样化且无标注的目标数据集时，该方法的泛化能力如何？

主要发现

• 在Cityscapes → BDD100k白天场景的自适应任务中，该方法实现了24.3%的mAP，比基线方法[3]高出3.1%，比Oracle模型高出19.0%。
• 在KITTI → Cityscapes的自适应任务中，通过使用渐进式自适应和合成数据，mAP从基线的20.8%提升至24.3%。
• 在Cityscapes → Foggy Cityscapes任务中，该方法实现了23.7%的mAP，表现出在恶劣天气条件下的强鲁棒性。
• 在中间域中使用加权损失可有效降低低质量合成图像的负面影响，提升模型的鲁棒性和性能。
• 该方法在多种自适应场景中均表现出一致的性能提升，包括跨相机、天气变化以及大规模数据集自适应。
• 定性结果表明，该方法在各类物体类别上均提升了检测准确率和泛化能力，尤其在复杂环境中表现更优。