[论文解读] Unsupervised domain adaptation via coarse-to-fine feature alignment method using contrastive learning

Shiyu Tang, Peijun Tang+3 more|arXiv (Cornell University)|Mar 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 5

一句话总结

本文提出 CFContra，一种用于语义分割的新型无监督域自适应方法，通过对比学习实现源域与目标域之间的粗到细特征对齐。通过联合优化对比损失与熵最小化，并采用高效的内存库策略，该方法在 GTA5 到 Cityscapes 上相比 MinEnt 提升了 3.5 个 mIOU 点，实现了最先进的性能，同时提升了训练稳定性和内存效率。

ABSTRACT

Previous feature alignment methods in Unsupervised domain adaptation(UDA) mostly only align global features without considering the mismatch between class-wise features. In this work, we propose a new coarse-to-fine feature alignment method using contrastive learning called CFContra. It draws class-wise features closer than coarse feature alignment or class-wise feature alignment only, therefore improves the model's performance to a great extent. We build it upon one of the most effective methods of UDA called entropy minimization to further improve performance. In particular, to prevent excessive memory occupation when applying contrastive loss in semantic segmentation, we devise a new way to build and update the memory bank. In this way, we make the algorithm more efficient and viable with limited memory. Extensive experiments show the effectiveness of our method and model trained on the GTA5 to Cityscapes dataset has boost mIOU by 3.5 compared to the MinEnt algorithm. Our code will be publicly available.

研究动机与目标

• 为解决现有无监督域自适应方法仅对齐全局特征分布而未考虑类别级特征不匹配的局限性。
• 开发一种稳健的非对抗性方法，利用对比学习对齐跨域的类别级特征。
• 通过引入动态内存库更新策略，提升对比学习在语义分割中的训练效率与内存使用效率。
• 通过将对比损失与熵最小化相结合，将决策边界从特征簇中推开，从而提升模型泛化能力。

提出的方法

• 该方法采用自适应实例归一化（AdaIN）实现从源域到目标域的轻量级风格迁移，实现初始特征对齐。
• 基于源域中类中心的接近度，为目标域特征分配伪标签，假设域间类别级特征具有相似性。
• 为两个域中的每个类别构建内存库，通过批量平均特征更新，以降低计算成本与内存占用。
• 使用温度缩放的 InfoNCE 损失优化对比损失，将困难负样本挖掘推迟至训练后期以提升稳定性。
• 模型端到端联合优化交叉熵损失（在源域上）、熵损失（在目标域上）以及对比损失（在两个域上）。
• 采用一种新型头模块（MOCO）将表征学习与分类解耦，显著提升性能，优于线性或简单投影头。

实验结果

研究问题

• RQ1 在无对抗训练的情况下，对比学习能否有效对齐无监督语义分割中源域与目标域之间的类别级特征？
• RQ2 通过对比学习实现的粗到细特征对齐，相较于仅全局特征对齐或仅熵最小化，如何提升 mIOU？
• RQ3 内存库设计与更新策略对密集预测任务中对比学习的训练效率与性能有何影响？
• RQ4 该方法对温度、动量和对比损失权重等超参数的敏感性如何？
• RQ5 通过专用头模块将表征学习与分类解耦，是否能提升域自适应中的泛化能力？

主要发现

• 所提出的 CFContra 方法在 GTA5 到 Cityscapes 基准上相比 MinEnt 基线提升了 3.5 个 mIOU 点，达到 45.8 mIOU。
• 消融研究显示，将对比损失与熵最小化结合可同时降低交叉熵损失与熵损失，表明特征聚类更紧密且决策边界分离更优。
• 使用基于 MOCO 的对比学习后，伪标签准确率提升 15%，证明了特征中心分配的改进。
• 该方法对超参数变化具有鲁棒性：温度（τ）与对比损失权重（λ_contra）影响显著，而动量（α）与阈值（t）影响微弱。
• 采用 MOCO 作为头模块时 mIOU 最高（45.4），优于线性头与其他对比头，证实了表征解耦的优势。
• 内存库更新策略——使用批量内类别平均特征而非全部特征——在保持性能的同时降低了计算与内存消耗。