[论文解读] Self-Adversarial Disentangling for Specific Domain Adaptation

Qianyu Zhou, Qiqi Gu+3 more|arXiv (Cornell University)|Aug 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 70被引用 11

一句话总结

本文提出自适应解耦（Self-Adversarial Disentangling, SAD），一种用于特定领域自适应（Specific Domain Adaptation, SDA）的新框架，通过显式建模沿特定需求维度（如雾度厚度）的领域偏移，实现性能提升。通过引入领域度生成器（domainness creator）以丰富源域中多样的领域度值，并结合自对抗正则化与解耦损失，SAD 学习到领域度不变的特征表示，在目标检测与语义分割任务中显著提升了对未见领域度水平的泛化能力。

ABSTRACT

Domain adaptation aims to bridge the domain shifts between the source and the target domain. These shifts may span different dimensions such as fog, rainfall, etc. However, recent methods typically do not consider explicit prior knowledge about the domain shifts on a specific dimension, thus leading to less desired adaptation performance. In this paper, we study a practical setting called Specific Domain Adaptation (SDA) that aligns the source and target domains in a demanded-specific dimension. Within this setting, we observe the intra-domain gap induced by different domainness (i.e., numerical magnitudes of domain shifts in this dimension) is crucial when adapting to a specific domain. To address the problem, we propose a novel Self-Adversarial Disentangling (SAD) framework. In particular, given a specific dimension, we first enrich the source domain by introducing a domainness creator with providing additional supervisory signals. Guided by the created domainness, we design a self-adversarial regularizer and two loss functions to jointly disentangle the latent representations into domainness-specific and domainness-invariant features, thus mitigating the intra-domain gap. Our method can be easily taken as a plug-and-play framework and does not introduce any extra costs in the inference time. We achieve consistent improvements over state-of-the-art methods in both object detection and semantic segmentation.

研究动机与目标

• 为解决现有无监督领域自适应（UDA）方法在适应特定维度（如雾度厚度变化）中未见领域度水平时性能下降的问题。
• 缓解同一领域维度内因领域偏移（领域度）数值大小差异导致的域内差距。
• 通过在表示学习中显式建模领域度为解耦因子，实现对未见领域度值目标域的泛化能力。
• 开发一种即插即用的框架，在不增加推理成本的前提下提升当前最先进模型的性能。

提出的方法

• 引入领域度生成器（Domainness Creator, DC），生成具有不同领域度值（如不同雾度强度）的多样化源域样本，以丰富训练分布。
• 设计一种自对抗正则化器，通过在不同领域度水平间对抗性对齐特征，促使模型学习到领域度不变的特征表示。
• 构建两种辅助损失——领域度特定损失与领域度不变对比损失，显式将表示解耦为领域度特定与领域度不变两部分。
• 端到端训练模型，采用联合损失函数平衡领域自适应、解耦学习与自对抗正则化。
• 将 SAD 框架作为插件模块无缝集成至现有 SOTA 模型（如 GPA、SWDA、AdaptSegNet）中，无需修改主干网络且不增加推理时间。

实验结果

研究问题

• RQ1 在特定维度上显式建模领域度，是否能提升领域自适应在未见领域度水平上的泛化性能？
• RQ2 将领域度特定与领域度不变特征进行解耦，是否能提升在目标域未见领域度水平下的性能表现？
• RQ3 自对抗正则化器是否能有效缓解由不同领域度数值大小引起的域内差距？
• RQ4 所提出的 SAD 框架是否能无额外推理开销地无缝集成至现有 SOTA 模型中？

主要发现

• 在 Cityscapes → Foggy Cityscapes 目标检测基准上，SAD 搭配 GPA 在雾度维度使用 4 个领域度水平时，mAP 达到 49.17%，显著优于未使用领域度增强的基线方法。
• 在 Virtual KITTI → CKITTI 语义分割任务中，SAD 搭配 AdaptSegNet 生成了更精确的分割掩码，尤其在‘植被’和‘交通标志’等挑战性类别上表现更优。
• 消融实验表明，领域度生成器中领域度水平数（N）的增加可持续提升 mAP：当 N=4 时，雾度维度的 mAP 达 45.23%，高于 N=0 时的 43.17%。
• 超参数分析确认，λspf = 0.1 时性能最优，且该方法在不同主干网络架构与数据集上均保持鲁棒性。
• 定性结果表明，SAD 生成的预测置信度更高，在低能见度场景下检测到的物体也更多，优于基线方法。