[论文解读] Prototypical Contrast Adaptation for Domain Adaptive Semantic Segmentation

Zhengkai Jiang, Yuxi Li+5 more|arXiv (Cornell University)|Jul 14, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出原型对比自适应（ProCA），一种新型对比学习方法，用于无监督域自适应语义分割，通过类内原型建模类间关系，增强特征判别性。通过将目标域特征对齐至同类别原型并远离其他类别原型，ProCA 在使用 DeepLab-v2 与 ResNet-101 的 GTA5→Cityscapes 和 SYNTHIA→Cityscapes 上分别实现了 56.3% 和 53.0% 的最先进 mIoU 性能。

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to adapt the model trained on the labeled source domain to an unlabeled target domain. In this paper, we present Prototypical Contrast Adaptation (ProCA), a simple and efficient contrastive learning method for unsupervised domain adaptive semantic segmentation. Previous domain adaptation methods merely consider the alignment of the intra-class representational distributions across various domains, while the inter-class structural relationship is insufficiently explored, resulting in the aligned representations on the target domain might not be as easily discriminated as done on the source domain anymore. Instead, ProCA incorporates inter-class information into class-wise prototypes, and adopts the class-centered distribution alignment for adaptation. By considering the same class prototypes as positives and other class prototypes as negatives to achieve class-centered distribution alignment, ProCA achieves state-of-the-art performance on classical domain adaptation tasks, {\em i.e., GTA5 $ o$ Cityscapes ext{and} SYNTHIA $ o$ Cityscapes}. Code is available at \href{https://github.com/jiangzhengkai/ProCA}{ProCA}

研究动机与目标

• 解决先前无监督域自适应（UDA）方法仅关注类内分布对齐的局限性，导致目标域中类间分离性差的问题。
• 通过使用类专属原型显式建模类间结构关系，提升目标域中的特征判别性。
• 通过联合优化特征级与输出级对比自适应并引入在线原型更新机制，提升域不变性与表征质量。
• 通过集成类感知伪标签与多级自适应机制，在标准 UDA 语义分割基准上实现更优性能。

提出的方法

• 构建类专属原型，作为源域特征的质心表征，以建模类间关系。
• 通过将同类别特征视为正样本对、不同类别特征视为负样本对，实施原型对比学习。
• 引入双分支对比自适应机制：一个在特征层级（使用分割头的特征），另一个在输出层级（使用分类器的 logits）。
• 实施在线原型更新方案，在训练过程中利用源域与目标域的特征联合更新原型，以提升域不变性。
• 集成自训练框架，并采用类感知自适应阈值筛选高置信度伪标签，以提升伪标签质量。
• 结合域内（源到源）与跨域（目标到源）对比学习，以稳定并增强特征对齐。

实验结果

研究问题

• RQ1 通过原型显式建模类间关系，能否提升无监督语义分割中的域泛化能力？
• RQ2 基于类专属原型的对比学习是否在语义分割的域自适应中优于基于像素的对比方法？
• RQ3 与单层级自适应相比，联合特征层级与输出层级对比自适应对性能有何影响？
• RQ4 在线原型更新在多大程度上提升了域不变性与模型鲁棒性？
• RQ5 在自训练阶段，生成高置信度伪标签的最优阈值百分比是多少？

主要发现

• ProCA 在使用 DeepLab-v2 与 ResNet-101 的 GTA5→Cityscapes 基准上实现了 56.3% 的最先进 mIoU，显著优于先前最先进方法。
• 消融实验表明，结合域内与跨域对比学习可获得最高 mIoU（48.8%），验证了双分支自适应的有效性。
• 在自训练阶段，将伪标签生成阈值设为 60% 时性能最佳（55.1% mIoU），而更高阈值会降低性能。
• 多层级自适应（特征 + 输出）达到 48.8% mIoU，优于单层级变体（分别为 47.9% 和 48.4%），证明了分层对齐的优势。
• 在线混合原型更新方案实现 48.8% mIoU，优于固定原型（47.8%）与仅源域更新（48.3%）方法，验证其在提升域不变性方面的作用。
• 仅使用原型对比自适应时，ProCA 即实现 48.8% mIoU，优于 FADA（46.9%）、SDCA（47.2%）与记忆库基线（47.6%），证实其在类间建模方面的优越性。