[论文解读] Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation

Yawei Luo, Liang Zheng+3 more|arXiv (Cornell University)|Sep 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 43被引用 43

一句话总结

本文提出 CLAN，即用于语义分割无监督域自适应的按类别级别的对抗网络，它基于局部语义对齐自适应为每个特征加权对抗损失，以减少负迁移。

ABSTRACT

We consider the problem of unsupervised domain adaptation in semantic segmentation. The key in this campaign consists in reducing the domain shift, i.e., enforcing the data distributions of the two domains to be similar. A popular strategy is to align the marginal distribution in the feature space through adversarial learning. However, this global alignment strategy does not consider the local category-level feature distribution. A possible consequence of the global movement is that some categories which are originally well aligned between the source and target may be incorrectly mapped. To address this problem, this paper introduces a category-level adversarial network, aiming to enforce local semantic consistency during the trend of global alignment. Our idea is to take a close look at the category-level data distribution and align each class with an adaptive adversarial loss. Specifically, we reduce the weight of the adversarial loss for category-level aligned features while increasing the adversarial force for those poorly aligned. In this process, we decide how well a feature is category-level aligned between source and target by a co-training approach. In two domain adaptation tasks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, we validate that the proposed method matches the state of the art in segmentation accuracy.

研究动机与目标

• 推动语义分割的无监督域自适应，并解决来自全局分布对齐的语义不一致性。
• 提出按类别级的对抗学习，以保护对齐良好的类别，同时强调对齐较差的类别。
• 利用协同训练来估计每个特征的语义对齐，并据此调整对抗加权。
• 在 GTA5→Cityscapes 和 SYNTHIA→Cityscapes 上展示最先进或具有竞争力的性能。

提出的方法

• 提出 CLAN 架构，包含特征提取器 E、两个分类器 C1 和 C2，以及一个判别器 D。
• 通过权重差异损失来强制 C1 与 C2 之间的多样性，并使用语义一致性作为对齐信号的协同训练。
• 从 C1 与 C2 之间的分歧计算逐像素的局部对齐分数，以调制来自 D 的对抗损失。
• 在每个像素处应用自适应对抗损失，将基础损失乘以 (lambda_local * M(p1,p2) + epsilon)，其中 M 是一个差异度量（如余弦距离）。
• 使用源数据的标准分割损失进行训练，权重差异损失以保持分类器的多样性，以及带自适应加权的对抗损失进行训练。
• 表明类别级对齐有助于更好地保留对齐良好的类别并改善对稀有类别的处理。

实验结果

研究问题

• RQ1 在域移位下，按类别级、自适应的对抗学习能否相比全局边际分布对齐提升语义分割性能？
• RQ2 协同训练得到的逐特征对齐是否能实现对对抗学习的选择性强调，以减少负迁移？
• RQ3 逐像素自适应对抗加权对域自适应中稀有类与常见类的性能有何影响？
• RQ4 在 GTA5→Cityscapes 和 SYNTHIA→Cityscapes 上，CLAN 是否具有与最先进的UDA方法竞争力或优越性？

主要发现

• CLAN 在不同骨干网络上显著优于仅源数据分割，并相较于以往的对抗方法提升了 mIoU。
• CLAN 在 GTA5→Cityscapes 和 SYNTHIA→Cityscapes 上取得竞争力或最先进的结果，且在稀有类别如杆子、交通标志等方面有显著提升。
• 自适应加权通过保留对齐良好的类别特征，同时将对抗压力集中在对齐较差的类别上，降低负迁移。
• 协同训练促进了不同但语义上一致的特征表示，有助于实现领域不变学习。
• 特征分布分析表明，与 TAN 相比，CLAN 在类别级联合分布距离上更小，尤其是对不那么频繁的类别。