[论文解读] Unsupervised Contrastive Domain Adaptation for Semantic Segmentation

Feihu Zhang, Vladlen Koltun+3 more|arXiv (Cornell University)|Apr 18, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种用于语义分割的无监督对比域自适应方法，通过同时使用域内和跨域对比对来对齐不同域之间的特征，同时增强特征的判别能力。当在未标注的目标图像上微调来自GTA5的数据时，该方法在Cityscapes数据集上实现了60.2%的mIoU，优于当前最先进方法，尤其在存在显著域偏移的困难类别上表现更优。

ABSTRACT

Semantic segmentation models struggle to generalize in the presence of domain shift. In this paper, we introduce contrastive learning for feature alignment in cross-domain adaptation. We assemble both in-domain contrastive pairs and cross-domain contrastive pairs to learn discriminative features that align across domains. Based on the resulting well-aligned feature representations we introduce a label expansion approach that is able to discover samples from hard classes during the adaptation process to further boost performance. The proposed approach consistently outperforms state-of-the-art methods for domain adaptation. It achieves 60.2% mIoU on the Cityscapes dataset when training on the synthetic GTA5 dataset together with unlabeled Cityscapes images.

研究动机与目标

• 为解决由于源域与目标域之间分布差异导致的语义分割中的域偏移问题，特别是针对罕见或未见类别。
• 在不依赖低层次风格迁移或对抗性训练的前提下，改善域间特征对齐。
• 开发一种自监督对比学习框架，通过有策略地采样正样本对，平衡易类与难类的学习。
• 通过基于特征的伪标签扩展策略，实现对目标域中难分类像素的发现。

提出的方法

• 该方法采用学生-教师框架，其中教师网络为未标注的目标域图像生成伪标签。
• 构建域内对比对（在源域和目标域内部）和跨域对比对（从源域到目标域），以实现域间特征对齐。
• 使用温度缩放的交叉熵损失优化对比损失，以促进特征聚类并提高判别能力。
• 通过置信度阈值机制，从教师网络中选择高置信度的伪标签，以指导学生网络的学习。
• 基于特征的伪标签扩展策略通过分析特征空间中的接近度，识别并整合目标域中的难分类像素。
• 训练目标结合了域对齐损失、对比损失和一致性正则化项，以稳定学习过程。

实验结果

研究问题

• RQ1 在无目标数据标注的情况下，对比学习能否有效对齐无监督语义分割中的域间特征？
• RQ2 如何利用自监督方法更好地适应具有强域偏移的难学习类别？
• RQ3 结合域内与跨域对比对是否能实现比现有域自适应基线方法更优的特征对齐？
• RQ4 基于特征相似性的伪标签扩展在罕见或未见类别上的性能提升程度如何？
• RQ5 该方法对温度和置信度阈值等超参数的选择有多大的鲁棒性？

主要发现

• 当在GTA5上训练并使用未标注的Cityscapes图像进行微调时，该方法在Cityscapes验证集上实现了60.2%的mIoU，优于先前的最先进方法。
• 在SYNTHIA到Cityscapes的基准测试中，该方法达到56.5%的mIoU，表明其在合成到真实域偏移场景下具有强大的泛化能力。
• 由于采用了有效的对比采样和伪标签扩展策略，该模型在困难类别（源域中标签样本极少或域偏移强烈的类别）上显著提升了性能。
• 特征原型对齐分析表明，与ProDA或无自适应方法相比，该方法在域间类原型之间的L2距离更小，说明其具有更好的域间对齐能力。
• 消融研究证实，该方法对超参数变化具有鲁棒性，在λ、α和τ₀的不同设置下仅出现轻微的性能下降。
• 无论使用ResNet-50还是ResNet-101等不同骨干网络，该方法在多个架构上均优于强基线方法（如Coarse-to-Fine和ProDA），即使在使用较弱主干网络时也表现更优。