[论文解读] Multi-Target Domain Adaptation via Unsupervised Domain Classification for Weather Invariant Object Detection

Ting Sun, Jinlin Chen+1 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用 5

一句话总结

本文提出了一种无监督多目标域自适应方法，用于实现天气不变的物体检测，通过风格迁移与k均值聚类对未标注的目标域图像按天气状况（雾天、雨天、夜间）进行分类。通过为每个聚类训练独立的风格迁移模型并生成合成标注数据，该方法在无需域标签的情况下实现了对多种天气条件下的鲁棒物体检测，性能优于简单的域混合方法，接近监督学习性能。

ABSTRACT

Object detection is an essential technique for autonomous driving. The performance of an object detector significantly degrades if the weather of the training images is different from that of test images. Domain adaptation can be used to address the domain shift problem so as to improve the robustness of an object detector. However, most existing domain adaptation methods either handle single target domain or require domain labels. We propose a novel unsupervised domain classification method which can be used to generalize single-target domain adaptation methods to multi-target domains, and design a weather-invariant object detector training framework based on it. We conduct the experiments on Cityscapes dataset and its synthetic variants, i.e. foggy, rainy, and night. The experimental results show that the object detector trained by our proposed method realizes robust object detection under different weather conditions.

研究动机与目标

• 解决因天气条件变化导致的自动驾驶物体检测中的域偏移问题。
• 将单目标域自适应方法推广至多个未标注的目标域，且无需依赖域标签。
• 开发一种框架，通过无监督聚类风格特征生成高质量的合成训练数据，以应对多种天气条件。
• 通过域不变表示学习提升物体检测器在未见天气条件下的鲁棒性。

提出的方法

• 在源域（Cityscapes）与混合目标域（雾天、雨天、夜间图像合并）之间训练一个单一的MUNIT风格迁移模型。
• 利用混合域MUNIT模型从目标域图像中提取AdaIN参数，以表示风格特征。
• 对AdaIN参数应用k均值聚类，实现对目标图像的无监督天气域分类（k=3）。
• 基于聚类结果，为每个源-目标域对（如Cityscapes → 雨天、Cityscapes → 夜间）训练独立的MUNIT模型。
• 使用各域专用的MUNIT模型，从源域图像生成合成的、完全标注的目标域图像。
• 在结合源域数据与生成的目标域图像的增强数据集上，训练一个天气不变的物体检测器（Faster R-CNN）

实验结果

研究问题

• RQ1 无监督域分类是否能有效分离多个目标域（如雾天、雨天、夜间）而无需真实标签？
• RQ2 在混合目标域上训练的单一风格迁移模型，是否能通过风格特征提取实现对不同天气条件的有效聚类？
• RQ3 与简单的域混合方法相比，通过无监督聚类实现的多目标域自适应是否能显著提升在多种天气条件下的物体检测性能？
• RQ4 无监督多目标域自适应在检测mAP指标上，与监督域自适应性能的差距有多近？

主要发现

• 所提方法在所有四个域（Cityscapes、雨天、夜间、雾天）上的mAP均与监督基线相差仅1-2%，表现出强大的泛化能力。
• 该方法显著优于“简单混合”基线，表明将所有目标域视为单一域会导致性能次优。
• 使用真实标签进行聚类的“真实域”设置（gt domain）结果接近监督学习的上限，验证了整体框架的有效性。
• k=3的k均值聚类成功分离了三种主要天气条件，经t-SNE可视化与轮廓系数分析确认。
• 所提方法生成的图像在视觉上比简单混合方法生成的图像更接近真实目标域图像，表明数据质量更高。
• 利用混合域MUNIT模型提取的AdaIN参数，实现了有效的无监督域分类，使方法可扩展至多个目标域。