[论文解读] Wasserstein Distance Based Domain Adaptation for Object Detection

Pengcheng Xu, Prudhvi Gurram+2 more|arXiv (Cornell University)|Sep 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用 14

一句话总结

本文提出了一种基于Wasserstein距离的对抗性域自适应框架，用于目标检测，通过最小化源域与目标域特征之间的分布差异，提升在域偏移下的泛化能力。与以往使用交叉熵或GAN损失的方法不同，该方法利用Wasserstein距离在高维检测特征空间中实现更稳定的训练，并解耦源域与目标域的特征提取器，以实现独立优化，从而在从合成的SIM10k数据迁移到Cityscapes数据集时，实现40.6%的SOTA平均精度（AP）。

ABSTRACT

In this paper, we present an adversarial unsupervised domain adaptation framework for object detection. Prior approaches utilize adversarial training based on cross entropy between the source and target domain distributions to learn a shared feature mapping that minimizes the domain gap. Here, we minimize the Wasserstein distance between the two distributions instead of cross entropy or Jensen-Shannon divergence to improve the stability of domain adaptation in high-dimensional feature spaces that are inherent to object detection task. Additionally, we remove the exact consistency constraint of the shared feature mapping between the source and target domains, so that the target feature mapping can be optimized independently, which is necessary in the case of significant domain gap. We empirically show that the proposed framework can mitigate domain shift in different scenarios, and provide improved target domain object detection performance.

研究动机与目标

• 解决在训练数据（源域）与部署数据（目标域）分布显著不同时，目标检测中的域偏移问题。
• 提升在深度目标检测器典型的高维特征空间中，无监督域自适应的训练稳定性和性能。
• 通过允许源域与目标域网络独立优化，克服以往对抗性域自适应方法中共享特征提取器的局限性。
• 在无需目标域标注数据的情况下，提升目标域上的检测精度。

提出的方法

• 使用源域与目标域特征分布之间的Wasserstein距离作为度量，以最小化域间差距，替代交叉熵或Jensen-Shannon散度。
• 引入两阶段域自适应流程：首先进行特征层级分布的全局对齐，随后对区域建议网络（RPN）特征进行局部对齐。
• 解耦源域与目标域的特征提取器，使目标网络能够独立学习其最优特征映射，从而在域差距较大时提升鲁棒性。
• 采用对抗训练，通过判别器网络估计Wasserstein距离，并使用梯度反转层更新特征提取器，以实现极小化-极大化训练。
• 在局部对齐阶段，迭代最小化检测损失与域自适应损失，以稳定训练过程。
• 在域判别器中使用梯度反转层（GRL），以实现特征提取器的端到端训练，使其能够欺骗域分类器。

实验结果

研究问题

• RQ1 在高维目标检测特征空间中，Wasserstein距离是否能提供比传统GAN损失更稳定的域自适应？
• RQ2 在域差距较大时，解耦源域与目标域特征提取器是否能提升自适应性能？
• RQ3 两阶段域对齐（先全局后局部）在多种域偏移场景中是否能有效减少域偏移？
• RQ4 所提方法是否能在无需目标域标注的情况下，在目标检测基准上实现SOTA性能？

主要发现

• 当从合成的SIM10k数据迁移到Cityscapes数据集时，所提方法在Cityscapes数据集上实现了40.6%的平均精度（AP），优于以往的无监督域自适应方法。
• 仅进行全局域对齐即可带来显著的性能提升（AP为39.8%），证明了基于Wasserstein的分布对齐的有效性。
• 局部对齐进一步将性能从39.8%提升至40.6%，表明对区域建议的细粒度自适应有助于减少误检并提升定位精度。
• 该方法减少了漏检现象，并提高了定位准确性，其效果在雾天和真实世界图像的定性结果中已得到视觉验证。
• 该框架在多种域偏移场景下表现出鲁棒性，包括从合成数据到真实数据的迁移以及天气条件变化。
• 结果表明，计算约束（如小批量大小）可能限制了局部对齐的全部潜力，提示未来可通过更大批量或更优正则化方法进一步提升性能。