[论文解读] Semi-supervised Domain Adaptation based on Dual-level Domain Mixing for Semantic Segmentation

Shuaijun Chen, Xu Jia+3 more|arXiv (Cornell University)|Mar 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用 9

一句话总结

本文提出一种用于语义分割半监督域自适应的双层次域混合框架，通过结合区域级和样本级数据混合，训练互补的教师模型，使其将知识蒸馏到学生模型中。该方法在GTA5到Cityscapes基准上实现了最先进性能，即使不使用风格迁移也优于现有方法，通过迭代优化伪标签并逐步提升教师和学生模型的自训练机制。

ABSTRACT

Data-driven based approaches, in spite of great success in many tasks, have poor generalization when applied to unseen image domains, and require expensive cost of annotation especially for dense pixel prediction tasks such as semantic segmentation. Recently, both unsupervised domain adaptation (UDA) from large amounts of synthetic data and semi-supervised learning (SSL) with small set of labeled data have been studied to alleviate this issue. However, there is still a large gap on performance compared to their supervised counterparts. We focus on a more practical setting of semi-supervised domain adaptation (SSDA) where both a small set of labeled target data and large amounts of labeled source data are available. To address the task of SSDA, a novel framework based on dual-level domain mixing is proposed. The proposed framework consists of three stages. First, two kinds of data mixing methods are proposed to reduce domain gap in both region-level and sample-level respectively. We can obtain two complementary domain-mixed teachers based on dual-level mixed data from holistic and partial views respectively. Then, a student model is learned by distilling knowledge from these two teachers. Finally, pseudo labels of unlabeled data are generated in a self-training manner for another few rounds of teachers training. Extensive experimental results have demonstrated the effectiveness of our proposed framework on synthetic-to-real semantic segmentation benchmarks.

研究动机与目标

• 解决在有限标注目标数据下，从合成（源）域到真实世界（目标）域进行语义分割时的性能差距问题。
• 通过结合已标注源数据、有限标注目标数据和大量未标注目标数据，克服无监督域自适应和半监督学习的局限性。
• 通过引入双层次数据混合——区域级和样本级——来减少域偏移，促进域不变特征学习。
• 通过来自互补教师的蒸馏知识和使用伪标签数据的迭代自训练，提升模型泛化能力和鲁棒性。
• 在标准的合成到真实域基准上验证该框架的有效性，实现在极少标注目标数据下的优越性能。

提出的方法

• 提出区域级域混合，通过在已标注源图像和目标图像上应用两个掩码，并组合掩码区域生成混合样本，以强调结构不变性。
• 引入样本级域混合，通过直接混合整个源图像和目标图像，以促进整体域不变表示学习。
• 训练两个互补的教师模型——一个基于区域级混合数据，另一个基于样本级混合数据——各自关注域偏移的不同方面。
• 使用知识蒸馏将两个教师的知识传递到单一学生模型中，利用“暗知识”提升学生模型在目标域上的泛化能力。
• 使用学生模型为未标注目标数据生成伪标签，并在迭代自训练循环中重新训练教师模型，以逐步优化教师和学生模型。
• 在LAB颜色空间中应用风格迁移以进一步减少视觉域差距，尽管该方法在不使用风格迁移时依然有效。

实验结果

研究问题

• RQ1 双层次域混合（在区域级和样本级同时操作）是否能提升语义分割半监督域自适应中的域泛化能力？
• RQ2 在不同混合层次上训练的两个互补教师模型进行知识蒸馏，与单教师或基线方法相比，对学生模型性能有何影响？
• RQ3 使用伪标签数据进行迭代自训练在多轮优化中对模型性能的提升程度如何？
• RQ4 当不应用风格迁移时，所提框架是否依然有效？与ASS等现有方法在相同条件下相比表现如何？
• RQ5 区域级和样本级混合的互补优势在不同语义类别中如何体现，特别是对具有复杂或显著形状的类别？

主要发现

• 在所有标注数据设置下，学生模型始终优于两个独立教师模型，证明了来自互补视角的知识蒸馏的有效性。
• 在GTA5到Cityscapes基准上，该方法在仅使用2975张标注目标图像时达到69.8%的平均IoU，即使不使用风格迁移也超越了ASS基线。
• 双层次混合模型的集成性能优于单视图集成，尤其在fence和rider等挑战性类别上IoU显著提升。
• 区域级混合在结构鲁棒类别（如road、sidewalk、vegetation）上表现最佳，而样本级混合在形状敏感类别（如bus、light）上更优，证实了其互补性。
• 迭代自训练循环带来渐进式性能提升：学生模型性能随训练轮次递增，更强的学生模型通过更准确的伪标签反向优化教师模型。
• 风格迁移可进一步提升性能，但该框架在无风格迁移时依然有效——即使在100–1000张标注图像条件下，仍达到最先进结果。