[论文解读] Probabilistic Contrastive Learning for Domain Adaptation

Junjie Li, Yixin Zhang+4 more|arXiv (Cornell University)|Nov 11, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出概率对比学习（Probabilistic Contrastive Learning, PCL），一种新颖的自监督方法，用基于概率的学习替代标准的基于特征的对比学习，以对齐特征与类别权重，显著提升领域自适应性能。通过移除ℓ₂归一化并使用Softmax概率作为对比信号，PCL减少了特征与类别权重之间的偏差，实现了在无监督和半监督领域自适应、半监督学习以及语义分割任务上的最先进性能，且训练成本更低。

ABSTRACT

Contrastive learning has shown impressive success in enhancing feature discriminability for various visual tasks in a self-supervised manner, but the standard contrastive paradigm (features+$\ell_{2}$ normalization) has limited benefits when applied in domain adaptation. We find that this is mainly because the class weights (weights of the final fully connected layer) are ignored in the domain adaptation optimization process, which makes it difficult for features to cluster around the corresponding class weights. To solve this problem, we propose the \emph{simple but powerful} Probabilistic Contrastive Learning (PCL), which moves beyond the standard paradigm by removing $\ell_{2}$ normalization and replacing the features with probabilities. PCL can guide the probability distribution towards a one-hot configuration, thus minimizing the discrepancy between features and class weights. We conduct extensive experiments to validate the effectiveness of PCL and observe consistent performance gains on five tasks, i.e., Unsupervised/Semi-Supervised Domain Adaptation (UDA/SSDA), Semi-Supervised Learning (SSL), UDA Detection and Semantic Segmentation. Notably, for UDA Semantic Segmentation on SYNTHIA, PCL surpasses the sophisticated CPSL-D by $>\!2\%$ in terms of mean IoU with a much lower training cost (PCL: 1*3090, 5 days v.s. CPSL-D: 4*V100, 11 days). Code is available at https://github.com/ljjcoder/Probabilistic-Contrastive-Learning.

研究动机与目标

• 解决标准对比学习在领域自适应中因特征与类别权重错位而导致性能不佳的问题。
• 探究尽管增强了特征可分性，传统对比学习为何仍无法提升领域自适应性能的原因。
• 提出一种方法，在自监督预训练过程中显式减少特征与学习到的类别权重之间的偏差。
• 证明所提方法在多种视觉任务（包括UDA、SSDA、SSL和语义分割）中的泛化能力。

提出的方法

• 将ℓ₂归一化的特征替换为Softmax概率作为对比信号，从而消除对ℓ₂归一化的依赖。
• 基于预测的类别概率而非原始特征构建对比损失，以促使特征聚集在类别权重向量周围。
• 使用概率分布 p_i,c = exp(w_c^T f_i) / sum_j exp(w_j^T f_i) 作为对比学习的主要信号。
• 优化模型，使得当 f_i 靠近 w_c 时，预测概率 p_i,c 接近 1，从而最小化与类别权重的偏差。
• 将PCL无缝集成到现有领域自适应框架中，无需架构修改，支持即插即用部署。
• 通过将PCL集成到分类器头中，将其应用于图像分类、目标检测和语义分割等多种任务。

Figure 1 : Feature Contrastive Learning ( FSL ) vs . Probabilistic Contrastive Learning ( PCL ). With PCL, the features on target domain can be clustered around the corresponding class weights.

实验结果

研究问题

• RQ1 为何标准对比学习尽管增强了特征可分性，却仍无法提升无监督领域自适应的性能？
• RQ2 特征与类别权重之间的偏差在多大程度上损害了领域自适应中的模型性能？
• RQ3 在对比学习中用概率替代特征，能否有效降低特征与类别权重之间的偏差？
• RQ4 PCL在不同学习范式（如半监督学习和语义分割）中的泛化能力如何？

主要发现

• 在SYNTHIA语义分割任务中，PCL相较于CPSL-D实现2.1%的mIoU绝对提升，仅需1×3090 GPU和5天训练，而CPSL-D需4×V100和11天。
• 在DomainNet（7个SSDA任务）中，PCL在3-shot监督下达到76.9%准确率，优于CLDA（75.3%），并匹配ECACL-P和CDAC（FixMatch）的性能。
• 在CIFAR-100半监督学习中，使用400个标签时，PCL将FixMatch准确率从53.58%提升至57.62%，提升+4.04%。
• 在Office-Home（12个SSDA任务）中，PCL实现最先进性能，即使不使用FixMatch也优于CDAC和ECACL-P，结合FixMatch后性能进一步提升。
• 在Cityscapes的UDA检测任务中，PCL将RPA从45.3%提升至47.8% AP，证明其在目标检测中的有效性。
• 消融实验确认，移除ℓ₂归一化和使用概率信号至关重要，若缺失将导致性能下降。

Figure 2 : An explorative study under the Semi-Supervised Domain Adaptation (SSDA) setting on DomainNet (R $\rightarrow$ S) [ 52 ] with 3-shot and ResNet34. We use MME [ 59 ] as a baseline model to verify the effect of FCL and PCL.