[论文解读] Semantic Domain Adversarial Networks for Unsupervised Domain Adaptation

Dapeng Hu, Jian Liang+5 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 73被引用 5

一句话总结

本文提出了SDAN和SSDAN两种简单而有效的无监督域自适应领域对抗训练方法。通过引入一种范数控制的拼接条件策略以及一种结构感知的语义空间以实现跨域对齐，SDAN提升了域间特征对齐效果，而SSDAN进一步通过利用结构语义信息增强了性能，在目标识别和语义分割基准上超越了当前最先进方法。

ABSTRACT

Domain adversarial training has become a prevailing and effective paradigm for unsupervised domain adaptation (UDA). To successfully align the multi-modal data structures across domains, the following works exploit discriminative information in the adversarial training process, e.g., using multiple class-wise discriminators and introducing conditional information in input or output of the domain discriminator. However, these methods either require non-trivial model designs or are inefficient for UDA tasks. In this work, we attempt to address this dilemma by devising simple and compact conditional domain adversarial training methods. We first show that the previous failure of the concatenation conditioning strategy mainly accounts for the weak support of the conditioning. Thus we propose an effective concatenation conditioning strategy by introducing a norm control factor to strengthen the conditioning and term the derived method as \underline{S}emantic \underline{D}omain \underline{A}dversarial \underline{N}etworks~(SDAN). However, directly applying predictions for conditional domain alignment, SDAN still suffers from inaccurate target predictions. We further propose a novel structure-aware conditioning strategy to enhance SDAN by conditioning the cross-domain feature alignment in the structure-aware semantic space rather than in the prediction space. We term the enhanced method as \underline{S}tructure-aware \underline{S}emantic \underline{D}omain \underline{A}dversarial \underline{N}etworks~(SSDAN). Experiments on both object recognition and semantic segmentation show that SDAN effectively aligns the multi-modal structures across domains and even outperforms state-of-the-art domain adversarial training methods. With structure-aware semantic conditioning, SSDAN further improves the adaptation performance over SDAN on multiple object recognition benchmarks for UDA.

研究动机与目标

• 解决先前使用多个判别器或条件信息的领域对抗训练方法中存在的效率低下与模型设计复杂的问题。
• 克服传统基于拼接的领域对抗训练中条件效应微弱的问题，该问题限制了特征对齐性能。
• 通过优化领域对齐的条件机制，提升无监督域自适应中目标预测的准确性。
• 通过从基于预测的条件机制转变为结构感知语义空间条件机制，增强跨域特征对齐。
• 开发一种紧凑、高效且有效的无监督域自适应方法，在标准基准上实现最先进性能。

提出的方法

• 在SDAN中提出一种范数控制的拼接条件策略，以增强条件信号，提升领域判别器的判别能力。
• 在SSDAN中引入一种新颖的结构感知条件机制，该机制在基于特征结构而非原始预测结果的语义空间中执行跨域对齐。
• 使用同时依赖特征和类别预测的领域判别器，并引入范数控制因子以稳定并增强条件信号。
• 以对抗方式训练特征编码器与领域判别器，促使模型学习领域不变表示。
• 应用带有条件监督的领域对抗训练目标，其中条件信号来自类别预测（SDAN）或来自结构感知语义嵌入（SSDAN）。
• 通过联合分类损失与领域对抗损失，端到端优化整个网络，实现有效特征对齐，且无需依赖带标签的目标数据。

实验结果

研究问题

• RQ1 为何标准的拼接条件策略在领域对抗训练中会失效？如何有效增强其条件信号强度？
• RQ2 是否一种简单紧凑的条件机制能够超越复杂多判别器或基于条件生成对抗网络的方法在无监督域自适应中的表现？
• RQ3 与基于预测空间的条件机制相比，基于结构感知语义空间的条件机制如何提升领域对齐效果？
• RQ4 所提出方法在无监督域自适应设置下，对目标识别与语义分割基准的泛化能力提升程度如何？
• RQ5 所提出方法是否能在保持模型简洁与训练高效的同时，实现最先进性能？

主要发现

• SDAN通过引入范数控制因子增强条件信号，有效提升了领域对齐效果，性能优于以往基于拼接的方法。
• SDAN在多个无监督域自适应目标识别基准上达到最先进性能，甚至超越了更复杂的先前方法。
• SSDAN中的结构感知语义条件机制通过在更具语义意义的空间中对齐特征，进一步提升了自适应性能。
• SSDAN在多个基准上均优于SDAN，证明了结构感知条件机制在提升泛化能力方面的有效性。
• 所提出方法均具备高效性与紧凑性，避免了复杂架构或多个判别器的使用，同时保持了强大的性能表现。
• 在目标识别与语义分割任务上的实验均显示一致性能提升，证实了SDAN与SSDAN在不同视觉任务中的泛化能力。