[论文解读] Multi-Source domain adaptation via supervised contrastive learning and confident consistency regularization

Marin Scalbert, Maria Vakalopoulou+1 more|arXiv (Cornell University)|Jun 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用 10

一句话总结

该论文提出CMSDA，一种新颖的多源无监督域自适应框架，通过监督对比学习对齐多个源域之间的类别条件分布，并利用带有硬伪标签的一致性正则化实现目标域的域自适应。该方法通过在混合源样本上联合优化插值交叉熵损失与对比损失，在三个标准多源UDA基准上实现了最先进性能。

ABSTRACT

Multi-Source Unsupervised Domain Adaptation (multi-source UDA) aims to learn a model from several labeled source domains while performing well on a different target domain where only unlabeled data are available at training time. To align source and target features distributions, several recent works use source and target explicit statistics matching such as features moments or class centroids. Yet, these approaches do not guarantee class conditional distributions alignment across domains. In this work, we propose a new framework called Contrastive Multi-Source Domain Adaptation (CMSDA) for multi-source UDA that addresses this limitation. Discriminative features are learned from interpolated source examples via cross entropy minimization and from target examples via consistency regularization and hard pseudo-labeling. Simultaneously, interpolated source examples are leveraged to align source class conditional distributions through an interpolated version of the supervised contrastive loss. This alignment leads to more general and transferable features which further improves the generalization on the target domain. Extensive experiments have been carried out on three standard multi-source UDA datasets where our method reports state-of-the-art results.

研究动机与目标

• 为解决现有多源UDA方法在大域偏移下无法对齐域间类别条件分布，导致泛化性能差的局限性。
• 通过插值形式的监督对比损失显式对齐源域类别条件分布，提升特征可迁移性。
• 通过一致性正则化与目标数据上的硬伪标签，提升模型在目标域上的鲁棒性与泛化能力。
• 在源域上采用类似MixUp的数据增强，以提升特征多样性与模型校准性。

提出的方法

• 该框架通过MixUp对源样本进行插值，生成混合训练样本，用于计算标准交叉熵损失与插值形式的监督对比损失。
• 在插值后的源样本上应用监督对比损失，以促进不同源域间同一类别特征的聚类，提升类别条件分布对齐效果。
• 在目标域上，对同一模型施加不同增强下的一致性正则化，并仅在置信度高于阈值τ的伪标签样本上使用无监督损失。
• 最终目标函数结合了在有标签源数据上的监督交叉熵损失、在混合源样本上的插值对比损失，以及在无标签目标数据上使用硬伪标签的一致性正则化无监督损失。
• 在对比损失中使用温度超参数T以平衡特征的均匀性与容忍度，实验发现T=0.1时性能最优。
• 通过联合目标端到端训练模型，确保在源域上实现判别性特征学习，并在目标域上实现域不变性自适应。

实验结果

研究问题

• RQ1 监督对比学习能否有效扩展至多源域自适应，以对齐不同源域之间的类别条件分布？
• RQ2 通过MixUp插值源样本如何提升域自适应模型的泛化性与鲁棒性？
• RQ3 在多源UDA中，对比损失的均匀性与容忍度之间最优平衡为何？温度T如何影响性能表现？
• RQ4 伪标签中置信度阈值τ的选择如何影响目标域自适应的稳定性与准确性？
• RQ5 对比学习与一致性正则化的结合能否在大域偏移下实现多源UDA的最先进性能？

主要发现

• CMSDA在三个标准多源UDA基准（MiniDomainNet、Office-Home、VisDA-2017）上均实现了最先进性能。
• 在MiniDomainNet上，该方法在所有目标域上平均准确率达到87.4%，超越了先前最先进方法。
• 消融实验表明，使用插值对比损失显著提升了性能，尤其在域偏移较大时效果更明显。
• 对比损失的最优温度T被确定为0.1，能有效平衡特征均匀性与类别容忍度。
• 置信度阈值τ=0.95在利用信息量丰富的伪标签与避免噪声标签之间取得最佳平衡，当τ > 0.95或τ < 0.9时性能均下降。
• 模型对负迁移具有鲁棒性，在源域高度多样化或具有多模态特性时仍能保持高性能。