[论文解读] Task-specific Inconsistency Alignment for Domain Adaptive Object Detection

Liang Zhao, Limin Wang|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出了一种名为特定任务不一致性对齐（Task-specific Inconsistency Alignment, TIA）的新颖域自适应方法，用于目标检测，该方法将特征对齐解耦为独立的分类与定位任务空间。通过引入辅助预测器，并利用香农熵（Shannon Entropy）与标准差（Standard Deviation）度量特定任务的行为不一致性，TIA 在分类与定位两个子任务中独立优化域对齐，分别在分类与定位任务上实现 +3.6% 与 +2.1% 的 mAP 提升，达到当前最优性能。

ABSTRACT

Detectors trained with massive labeled data often exhibit dramatic performance degradation in some particular scenarios with data distribution gap. To alleviate this problem of domain shift, conventional wisdom typically concentrates solely on reducing the discrepancy between the source and target domains via attached domain classifiers, yet ignoring the difficulty of such transferable features in coping with both classification and localization subtasks in object detection. To address this issue, in this paper, we propose Task-specific Inconsistency Alignment (TIA), by developing a new alignment mechanism in separate task spaces, improving the performance of the detector on both subtasks. Specifically, we add a set of auxiliary predictors for both classification and localization branches, and exploit their behavioral inconsistencies as finer-grained domain-specific measures. Then, we devise task-specific losses to align such cross-domain disagreement of both subtasks. By optimizing them individually, we are able to well approximate the category- and boundary-wise discrepancies in each task space, and therefore narrow them in a decoupled manner. TIA demonstrates superior results on various scenarios to the previous state-of-the-art methods. It is also observed that both the classification and localization capabilities of the detector are sufficiently strengthened, further demonstrating the effectiveness of our TIA method. Code and trained models are publicly available at https://github.com/MCG-NJU/TIA.

研究动机与目标

• 为解决现有域自适应方法在目标检测中无法同时提升分类与定位性能的局限性。
• 通过在独立的任务空间中显式对齐特征，而非在共享特征空间中对齐，以克服域偏移问题。
• 通过利用辅助预测器的行为不一致性，提升特征在分类与定位任务中的可迁移性。
• 设计特定任务的损失函数，以更有效地捕捉类别级与边界级预测中的域间差异。

提出的方法

• 为每个任务分支引入一组辅助分类器与定位器，以生成特定任务的行为输出。
• 使用香农熵（SE）度量并最小化辅助分类器之间的分歧，以捕捉类别级的域差异。
• 使用标准差（SD）量化并减少定位器预测中的模糊性，提升跨域的边界一致性。
• 设计两种特定任务的不一致性对齐损失：$\mathcal{L}_{ia}^{cls}$ 与 $\mathcal{L}_{ia}^{loc}$，以在各自任务空间中独立优化对齐。
• 在训练过程中应用这些损失，以优化特征，使分类与定位能力以解耦方式得到增强。
• 将 TIA 模块集成到两阶段检测器中，无需修改主干网络，实现端到端训练，且计算开销极低。

实验结果

研究问题

• RQ1 通过将对齐解耦为独立的分类与定位任务空间，能否提升目标检测中的域自适应性能？
• RQ2 通过度量辅助预测器之间的行为不一致性，是否能比联合特征空间对齐更有效地捕捉域间差异？
• RQ3 基于熵与标准差设计的特定任务损失，能否有效减少分类与定位任务中的域偏移？
• RQ4 与 MCD、DANN 或 SWD 等现有域对齐技术相比，基于不一致性的对齐方法在目标检测中是否更具有效性？

主要发现

• TIA 在多个域偏移基准上达到当前最优性能，包括 PASCAL VOC → Clipart，分类任务 mAP 提升 +3.6%，定位任务提升 +2.1%。
• 所提出的不一致性对齐损失（$\mathcal{L}_{ia}^{cls}$ 与 $\mathcal{L}_{ia}^{loc}$）在捕捉域差异方面优于标准损失（如 L1、KL 散度与 SWD）。
• 增加辅助分类器数量（$N$）对性能的提升效果显著高于增加定位器数量（$M$），表明类别级不一致性比边界级模糊性更具信息量。
• TIA 首次在定位任务中相对于仅使用源域的基线模型减少了误定位错误，证明其在提升定位鲁棒性方面的有效性。
• 误差分析表明，TIA 增加了正确检测数量（IoU ≥ 0.5），并减少了误报与误定位，证实了在两个任务中特征判别能力的增强。