[论文解读] SCL: Towards Accurate Domain Adaptive Object Detection via Gradient Detach Based Stacked Complementary Losses

Zhiqiang Shen, Harsh Maheshwari+2 more|arXiv (Cornell University)|Nov 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用 84

一句话总结

SCL 引入基于梯度分离的堆叠式互补损失，用于无监督领域自适应的目标检测，通过将多目标监督与梯度分离的上下文分支相结合，在多个领域移位基准上实现最新性能。

ABSTRACT

Unsupervised domain adaptive object detection aims to learn a robust detector in the domain shift circumstance, where the training (source) domain is label-rich with bounding box annotations, while the testing (target) domain is label-agnostic and the feature distributions between training and testing domains are dissimilar or even totally different. In this paper, we propose a gradient detach based stacked complementary losses (SCL) method that uses detection losses as the primary objective, and cuts in several auxiliary losses in different network stages accompanying with gradient detach training to learn more discriminative representations. We argue that the prior methods mainly leverage more loss functions for training but ignore the interaction of different losses and also the compatible training strategy (gradient detach updating in our work). Thus, our proposed method is a more syncretic adaptation learning process. We conduct comprehensive experiments on seven datasets, the results demonstrate that our method performs favorably better than the state-of-the-art methods by a significant margin. For instance, from Cityscapes to FoggyCityscapes, we achieve 37.9% mAP, outperforming the previous art Strong-Weak by 3.6%.

研究动机与目标

• 解决在显著源/目标领域移位下的对象检测无监督领域自适应问题。
• 开发一个综合学习框架，联合优化检测任务与多种辅助、互补损失。
• 引入梯度分离训练策略，在不与主检测器崩溃的情况下学习判别性的上下文表示。
• 展示在多样化基准上的跨域检测性能提升。
• 提供消融研究和在领域自适应检测中选择互补损失及训练策略的指导。

提出的方法

• 定义一个多互补目标学习框架，在主检测损失之外，在不同网络阶段添加辅助损失。
• 使用带梯度反转的领域分类器，在多深度处对源/目标特征进行对齐（深度监督）。
• 引入一个实例-上下文对齐损失，将 RoI 级别的实例特征与来自上下文子网络的上下文向量融合。
• 应用梯度分离更新策略，使上下文表示彼此不相似但又互为互补，防止梯度干扰主检测路径。
• 以组合目标函数优化：L_det（检测）和 L_SCL（互补损失）的最小-最大形式，带有权衡参数 lambda。
• 加入梯度分离反向传播（算法 1）以增强对领域自适应的判别性上下文学习。
• 利用 Faster R-CNN 与 RPN，在多级上添加判别性、上下文感知的辅助监督（L_ILoss）和基于 GRL 的对抗对齐。

实验结果

研究问题

• RQ1 梯度分离和堆叠式互补损失是否能够在现有单一损失对齐方法之上提升无监督领域自适应对象检测？
• RQ2 在不同网络阶段应用多种互补损失对跨域特征学习和检测器性能的影响如何？
• RQ3 一个上下文感知的、梯度分离的辅助分支如何影响领域移位下的目标定位与识别？
• RQ4 在检测任务的领域自适应中，选择互补损失及其在网络中的放置位置有哪些实际指南？

主要发现

• SCL 在多个领域移位上比基线方法取得更高的 mAP，例如 Cityscapes 至 FoggyCityscapes 的 mAP 为 37.9%，比 Strong-Weak 高出 3.6%。
• 在 Cityscapes 至 FoggyCityscapes 的实验中，我们的完整模型（带上下文和 detach）达到 37.9% 的 mAP，优于此前的方法，显示出梯度分离与多样化辅助损失并存的好处。
• 在若干基准上（如 KITTI↔Cityscapes、Sim10K↔Cityscapes、PASCAL↔Clipart/Watercolor），我们的方法相较非自适应基线和有竞争力的基线均有提升，例如 KITTI↔Cityscapes 适应中 Car 的 AP 处于低-40s 至 低-50s 区间，优于 DA 及之前实现。
• 梯度分离训练能产生更具判别性的上下文表示，热力图可见相对于无 detach 的模型，对目标区域的聚焦更清晰、对背景的关注减少。
• 充分的消融研究表明，将损失类型仔细配对并在合适深度放置（低层 LS、中层 CE、高层 FL）与 Detach 搭配，能提供最佳性能（例如 LS–CE–FL–FL，带 Context 与 Detach）。
• 该方法在多样化任务上显示出强劲的性能，包括从合成到真实场景（Sim10K→Cityscapes）以及不同域对（PASCAL→Clipart/Watercolor）等，表明其具备鲁棒的跨域对象检测能力。