[论文解读] Multi-Target Domain Adaptation with Collaborative Consistency Learning

Takashi Isobe, Xu Jia+6 more|arXiv (Cornell University)|Jun 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用 13

一句话总结

本文提出了一种用于语义分割中多目标域自适应的协作一致性学习框架，其中多个领域特定的专家模型通过跨域一致性正则化进行训练，并将知识联合蒸馏到一个单一的学生模型中。该方法在GTA5到Cityscapes、IDD和Mapillary基准测试中，于多个目标领域上均实现了最先进性能，优于单独的领域自适应模型以及先前的多目标自适应方法。

ABSTRACT

Recently unsupervised domain adaptation for the semantic segmentation task has become more and more popular due to high-cost of pixel-level annotation on real-world images. However, most domain adaptation methods are only restricted to single-source-single-target pair, and can not be directly extended to multiple target domains. In this work, we propose a collaborative learning framework to achieve unsupervised multi-target domain adaptation. An unsupervised domain adaptation expert model is first trained for each source-target pair and is further encouraged to collaborate with each other through a bridge built between different target domains. These expert models are further improved by adding the regularization of making the consistent pixel-wise prediction for each sample with the same structured context. To obtain a single model that works across multiple target domains, we propose to simultaneously learn a student model which is trained to not only imitate the output of each expert on the corresponding target domain, but also to pull different expert close to each other with regularization on their weights. Extensive experiments demonstrate that the proposed method can effectively exploit rich structured information contained in both labeled source domain and multiple unlabeled target domains. Not only does it perform well across multiple target domains but also performs favorably against state-of-the-art unsupervised domain adaptation methods specially trained on a single source-target pair

研究动机与目标

• 为解决语义分割中无监督多目标域自适应（MTDA）的挑战，即单个模型必须在多个未标注的目标领域中实现泛化。
• 克服单源单目标域自适应的局限性，后者无法直接扩展到多个目标领域。
• 通过协作一致性学习实现领域特定专家模型之间的知识共享，以提升泛化能力和性能。
• 通过从多个专家模型在线蒸馏知识，构建一个在所有目标领域中表现良好的单一鲁棒学生模型。
• 探索领域间连接（包括源-目标对之间以及目标领域之间）的优势，以增强可迁移性和模型鲁棒性。

提出的方法

• 针对每个目标领域，使用对抗性域自适应和一致性损失训练一个领域特定的专家模型，以对同一内容在不同领域风格下的预测进行对齐。
• 构建一个风格迁移桥梁，将源图像和目标图像转换为各个目标领域的风格，从而实现在不同目标领域之间的跨域一致性学习。
• 协作一致性学习通过正则化使专家模型之间达成一致，即对具有相同语义内容但不同领域风格的图像，要求其产生一致的像素级预测。
• 通过在线知识蒸馏训练一个学生模型，使其在各自目标领域上模仿所有专家模型的输出，同时被正则化以与专家模型的权重保持一致。
• 该方法引入权重正则化损失，以在训练过程中鼓励学生模型与专家模型保持相似性，从而提升泛化能力。
• 该框架端到端进行训练，使学生模型能够同时受益于各个专家的专长知识以及通过跨域一致性学习获得的共享不变性。

实验结果

研究问题

• RQ1 是否可以有效训练单个模型，使其在无需针对每个领域进行微调的情况下，泛化到多个未标注的目标领域进行语义分割？
• RQ2 如何有效结合多个领域特定专家模型的知识，以同时提升所有目标领域的性能？
• RQ3 通过风格桥梁强制在不同领域风格下预测的一致性，是否能带来比标准域自适应更好的泛化性能？
• RQ4 与为每个目标领域单独训练模型相比，在线知识蒸馏从多个专家中提取知识，是否能提升单个学生模型的性能？
• RQ5 专家之间的协作学习（包括跨域一致性）在多大程度上优于朴素的集成或联合训练策略？

主要发现

• 在从GTA5到Cityscapes的迁移中，该方法在Cityscapes上达到46.7%的mIoU，在IDD上达到47.0%，在Mapillary上达到49.9%，优于单独的STDA基线模型（分别为43.3%、43.6%和45.8%的mIoU）。
• 在真实到真实的MTDA设置中，当使用Cityscapes作为源域时，该方法在Mapillary上达到58.5%的mIoU，超过基线和先前方法。
• 消融实验表明，结合在线知识蒸馏和权重正则化，相比基线模型，Cityscapes上的mIoU提升1.7%，IDD上的mIoU提升1.8%。
• 仅协作一致性学习组件本身，相比基线模型，便在Cityscapes上提升1.0%的mIoU，在IDD上提升1.3%的mIoU。
• 该方法在所有目标领域上均持续优于单独的专家模型和先前的MTDA方法，展现出更优的泛化能力和鲁棒性。
• 该框架在多目标自适应基准测试中实现了最先进性能，涵盖合成到真实和真实到真实两种设置。