[论文解读] Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation

Jianzhong He, Xu Jia+2 more|arXiv (Cornell University)|Mar 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 11

一句话总结

本文提出了一种用于语义分割的多源域自适应框架，通过协同学习与简单的图像翻译来减少域差距。通过在LAB颜色空间中将源域图像对齐至目标域的风格，并结合使用伪标签的跨域协同学习，该方法在使用GTA5和Synscapes作为源域时，于Cityscapes数据集上实现了59.0%的mIoU，优于所有先前的单源与多源无监督域自适应方法。

ABSTRACT

Multi-source unsupervised domain adaptation~(MSDA) aims at adapting models trained on multiple labeled source domains to an unlabeled target domain. In this paper, we propose a novel multi-source domain adaptation framework based on collaborative learning for semantic segmentation. Firstly, a simple image translation method is introduced to align the pixel value distribution to reduce the gap between source domains and target domain to some extent. Then, to fully exploit the essential semantic information across source domains, we propose a collaborative learning method for domain adaptation without seeing any data from target domain. In addition, similar to the setting of unsupervised domain adaptation, unlabeled target domain data is leveraged to further improve the performance of domain adaptation. This is achieved by additionally constraining the outputs of multiple adaptation models with pseudo labels online generated by an ensembled model. Extensive experiments and ablation studies are conducted on the widely-used domain adaptation benchmark datasets in semantic segmentation. Our proposed method achieves 59.0\% mIoU on the validation set of Cityscapes by training on the labeled Synscapes and GTA5 datasets and unlabeled training set of Cityscapes. It significantly outperforms all previous state-of-the-arts single-source and multi-source unsupervised domain adaptation methods.

研究动机与目标

• 为解决在语义分割中合成源域（如GTA5、Synscapes）与真实目标域（如Cityscapes）之间的域差距挑战。
• 通过利用多个带标签的源域而非依赖单一源域，提升模型泛化能力。
• 开发一种方法，有效利用域不变的语义上下文与未标注的目标域数据，而无需复杂的对抗性训练。
• 在多源无监督域自适应语义分割任务中实现最先进性能。

提出的方法

• 一种简单的图像翻译方法，通过在LAB颜色空间中将源图像转换为目标域风格，对齐源域与目标域之间的像素分布。
• 在多个带标签的源域之间应用协同学习，其中每个模型从其他在不同源域上训练的模型接收软监督。
• 针对目标域适应，通过源模型集成在线生成伪标签，并用于联合约束多个适应头的输出。
• 该框架同时采用端到端与阶段式训练策略，以优化域对齐与语义一致性。
• 该方法避免了对抗性训练和复杂的组件（如课程学习），转而依赖高效、可微的颜色空间转换与知识蒸馏。

实验结果

研究问题

• RQ1 在LAB颜色空间中使用简单图像翻译方法，能否有效减少合成图像与真实世界图像在语义分割中的域差距？
• RQ2 在不访问目标域数据的情况下，跨多个带标签源域的协同学习如何提升泛化能力？
• RQ3 与伪标签化的目标域数据联合优化，能在多大程度上进一步提升适应性能？
• RQ4 所提出的方法是否优于现有的单源与多源域自适应方法在语义分割中的表现？

主要发现

• 当在GTA5和Synscapes上进行训练时，该方法在Cityscapes验证集上实现了59.0%的mIoU，显著优于所有先前的最先进方法。
• 从全部三个源域（GTA5、Synscapes和SYNTHIA）进行迁移时，在16个类别上达到62.24%的mIoU，相比最佳单源基线提升了13%。
• 源域之间的协同学习组件对性能提升的贡献大于仅在目标域上进行适应，即使在仅使用源域的协同设置下也达到了54.03%的mIoU。
• 该方法在刚体物体（如卡车、公共汽车和火车）上表现优异，表明其对形状与空间布局不变性的强学习能力。
• 该框架在不使用对抗性训练、自训练或课程学习的情况下，实现了最先进性能，其核心依赖于高效的色彩空间转换与知识蒸馏。