[论文解读] Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation

Shuang Li, Binhui Xie+5 more|arXiv (Cornell University)|May 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 81被引用 21

一句话总结

该论文提出了一种名为语义分布感知对比自适应（Semantic Distribution-aware Contrastive Adaptation, SDCA）的新颖域自适应方法，用于语义分割任务。该方法利用源域中类别级别的语义分布，通过对比损失指导像素级表征对齐。通过提升特征的可区分性并增强对域偏移的鲁棒性，该方法在多个基准测试中取得了最先进性能，尤其在结合自监督学习时表现更优。

ABSTRACT

Domain adaptive semantic segmentation refers to making predictions on a certain target domain with only annotations of a specific source domain. Current state-of-the-art works suggest that performing category alignment can alleviate domain shift reasonably. However, they are mainly based on image-to-image adversarial training and little consideration is given to semantic variations of an object among images, failing to capture a comprehensive picture of different categories. This motivates us to explore a holistic representative, the semantic distribution from each category in source domain, to mitigate the problem above. In this paper, we present semantic distribution-aware contrastive adaptation algorithm that enables pixel-wise representation alignment under the guidance of semantic distributions. Specifically, we first design a pixel-wise contrastive loss by considering the correspondences between semantic distributions and pixel-wise representations from both domains. Essentially, clusters of pixel representations from the same category should cluster together and those from different categories should spread out. Next, an upper bound on this formulation is derived by involving the learning of an infinite number of (dis)similar pairs, making it efficient. Finally, we verify that SDCA can further improve segmentation accuracy when integrated with the self-supervised learning. We evaluate SDCA on multiple benchmarks, achieving considerable improvements over existing algorithms.The code is publicly available at https://github.com/BIT-DA/SDCA

研究动机与目标

• 通过提升源域与目标域之间类别级别的特征对齐，解决语义分割中的域偏移问题。
• 缓解现有类别级别对抗方法中因图像级差异和小批量多样性有限导致的不稳定与偏差对齐问题。
• 通过建模源域中每个语义类别的完整分布，而非依赖单一中心点，提升特征的可区分性。
• 设计一种高效、可微的对比损失，利用语义分布引导，隐式对齐无限多对像素级特征对。
• 验证SDCA在域偏移条件下提升分割精度的有效性，尤其在结合自监督预训练时。

提出的方法

• 提出一种像素级对比损失，通过源域中每个类别的语义分布引导，促使同一语义类别的特征聚类，不同类别的特征相互分离。
• 引入对比损失的上界近似，使其可计算且高效，支持在无需显式采样的情况下联合学习无限多对（不）相似像素对。
• 利用每个类别的语义分布（从源数据估计）作为整体代表性，指导特征对齐，捕捉类别内部的多样性，如纹理、颜色和光照变化。
• 采用双分支网络结构，共享编码器用于源域与目标域的特征提取，对比损失作用于两个域的像素级特征上。
• 将SDCA与自监督学习（SSL）结合，进一步提升性能，利用未标注的目标域数据增强特征学习。
• 采用t-SNE可视化与新型像素级判别距离（Pixel-wise Discrimination Distance, PDD）度量，定量评估特征聚类与可分性。

实验结果

研究问题

• RQ1 在源域中建模每个类别的完整语义分布，是否能带来更稳定、更准确的语义分割域自适应中的类别级别对齐？
• RQ2 使用由语义分布引导的对比损失，是否能提升目标域中学习到的像素级特征的判别能力？
• RQ3 在域偏移条件下，SDCA在mIoU和特征聚类质量方面与最先进方法相比表现如何？
• RQ4 将SDCA与自监督学习结合，能在多大程度上增强泛化能力与目标域上的性能？
• RQ5 SDCA对超参数（如阈值δ和损失权重系数）的敏感度如何？

主要发现

• SDCA在多个基准测试中取得最先进性能，包括GTAV → Cityscapes与SYNTHIA → Cityscapes，优于现有SOTA方法。
• t-SNE可视化显示，与其它方法相比，SDCA生成的特征聚类最清晰、类别间分离度最高。
• 所提出的像素级判别距离（PDD）度量证实，SDCA在类内紧凑性与类间可分性方面显著优于CLAN、FADA、SIM与CAG-UDA。
• 敏感性分析表明，SDCA在广泛超参数范围内保持高性能，mIoU在δ和损失权重的中间值处达到峰值，表明其鲁棒性。
• 与自监督学习结合后，SDCA进一步提升了分割精度，证明其与SSL预训练具有良好的兼容性与协同效应。
• 对比损失的上界近似使训练高效且无需显式采样负样本对，提升了方法的实用性与可扩展性。