[论文解读] Uncertainty-Aware Unsupervised Domain Adaptation in Object Detection

Dayan Guan, Jiaxing Huang+3 more|arXiv (Cornell University)|Feb 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 82被引用 5

一句话总结

该论文提出了一种新型无监督域自适应框架——不确定性感知域自适应网络（UaDAN），用于目标检测任务。该方法利用样本不确定性自适应地加权对抗性损失，保护已对齐的特征，同时聚焦于对齐较差的样本。通过结合不确定性感知对抗学习与不确定性引导的课程学习，UaDAN在四个基准数据集上实现了最先进性能。

ABSTRACT

Unsupervised domain adaptive object detection aims to adapt detectors from a labelled source domain to an unlabelled target domain. Most existing works take a two-stage strategy that first generates region proposals and then detects objects of interest, where adversarial learning is widely adopted to mitigate the inter-domain discrepancy in both stages. However, adversarial learning may impair the alignment of well-aligned samples as it merely aligns the global distributions across domains. To address this issue, we design an uncertainty-aware domain adaptation network (UaDAN) that introduces conditional adversarial learning to align well-aligned and poorly-aligned samples separately in different manners. Specifically, we design an uncertainty metric that assesses the alignment of each sample and adjusts the strength of adversarial learning for well-aligned and poorly-aligned samples adaptively. In addition, we exploit the uncertainty metric to achieve curriculum learning that first performs easier image-level alignment and then more difficult instance-level alignment progressively. Extensive experiments over four challenging domain adaptive object detection datasets show that UaDAN achieves superior performance as compared with state-of-the-art methods.

研究动机与目标

• 解决传统对抗学习在无监督域自适应中因统一对齐全局特征分布而导致已对齐样本被错误对齐的局限性。
• 通过在实例级对齐之前逐步进行图像级对齐，减少两阶段目标检测流水线中的误差累积。
• 通过利用预测不确定性引导对齐，提升在目标域中标签有限或无标签情况下的模型鲁棒性与泛化能力。
• 提出一种动态调整对抗性损失的方法，基于样本不确定性，确保已对齐样本得到保护，而对齐较差的样本得以纠正。

提出的方法

• 引入不确定性感知对抗学习（UaAL）模块，利用熵估计预测不确定性，并为对抗性损失分配自适应权重——低不确定性（已对齐）样本的权重较低，高不确定性（对齐较差）样本的权重较高。
• 设计两阶段训练流程：首先使用不确定性引导的损失进行图像级特征对齐，随后进行实例级对齐，以减少误差传播。
• 实现不确定性引导的课程学习（UgCL），利用熵确定对齐难度，优先处理较简单的图像级对齐，再逐步过渡到更难的实例级对齐。
• 将整体损失公式化为检测损失、不确定性加权的图像级对抗损失（$\mathcal{L}_{img}^{ua}$）和不确定性加权的实例级对抗损失（$\mathcal{L}_{ins}^{ua}$）的组合，其中温度参数 $\xi$ 控制课程学习的调度。
• 使用熵作为不确定性度量：$H(y) = -\sum_{c} p_c \log p_c$，其中 $p_c$ 为类别 $c$ 的预测概率，用于量化模型置信度并指导损失加权。
• 采用端到端训练策略，结合课程学习调度：仅在图像级对齐达到低不确定性后，才激活实例级对齐，确保稳定且渐进的自适应过程。

实验结果

研究问题

• RQ1 基于预测不确定性的自适应对抗损失加权是否能在不损害已对齐样本的前提下，提升无监督目标检测中的域对齐效果？
• RQ2 一种从图像级开始、逐步过渡到实例级的渐进式、不确定性引导的课程学习策略，是否能减少误差累积并提升检测性能？
• RQ3 不确定性感知损失加权与课程学习的结合，在目标检测中多样的域偏移场景下，对性能有何影响？
• RQ4 图像级与实例级对齐之间应如何取得最优平衡？超参数 $\xi$ 如何影响所提方法的性能？
• RQ5 在具有挑战性的域偏移场景下，UaDAN在无监督域自适应目标检测任务中，相较于现有最先进方法，其性能提升程度如何？

主要发现

• UaDAN在四个具有挑战性的域自适应基准上达到最先进性能：Cityscapes → Mapillary Vistas（32.7% mAP）、Cityscapes → Foggy Cityscapes（41.1% mAP）、PASCAL VOC → Clipart1k（40.2% mAP）。
• 消融实验证实，不确定性感知对抗学习（UaAL）在图像级与实例级对齐中均优于标准对抗学习，且在图像级对齐中性能增益最大。
• UaDAN w/o UgCL 的性能优于仅使用实例级 UaAL 或图像级 UaAL 的模型，表明两部分组件具有互补性，且课程学习显著提升了整体性能。
• 完整版 UaDAN 模型相较于 UaDAN w/o UgCL 显著提升，验证了不确定性引导课程学习在逐步优化域对齐方面的有效性。
• 超参数敏感性分析表明，$\xi = 0.5$ 在所有三个测试的域自适应任务中均取得最佳性能，表明该值实现了图像级与实例级对齐之间的最优平衡。
• 模型收敛迅速，训练与测试损失在前 10k 次迭代内急剧下降，并在 50k 次迭代后趋于稳定，表明优化过程稳定且高效。