[论文解读] Source-Free Domain Adaptation for Semantic Segmentation

Yuang Liu, Wei Zhang+1 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 54被引用 13

一句话总结

本文提出SFDA，一种用于语义分割的无源域自适应框架，可在不访问源数据的情况下，将预训练源模型的知识迁移至未标注的目标域。该方法利用带有双重注意力蒸馏的生成器合成类似源域的伪造样本，并引入域内局部块级自监督模块，利用伪标签化的局部块，其性能在跨城市和合成到真实域的基准测试中与最先进源驱动的UDA方法相当。

ABSTRACT

Unsupervised Domain Adaptation (UDA) can tackle the challenge that convolutional neural network(CNN)-based approaches for semantic segmentation heavily rely on the pixel-level annotated data, which is labor-intensive. However, existing UDA approaches in this regard inevitably require the full access to source datasets to reduce the gap between the source and target domains during model adaptation, which are impractical in the real scenarios where the source datasets are private, and thus cannot be released along with the well-trained source models. To cope with this issue, we propose a source-free domain adaptation framework for semantic segmentation, namely SFDA, in which only a well-trained source model and an unlabeled target domain dataset are available for adaptation. SFDA not only enables to recover and preserve the source domain knowledge from the source model via knowledge transfer during model adaptation, but also distills valuable information from the target domain for self-supervised learning. The pixel- and patch-level optimization objectives tailored for semantic segmentation are seamlessly integrated in the framework. The extensive experimental results on numerous benchmark datasets highlight the effectiveness of our framework against the existing UDA approaches relying on source data.

研究动机与目标

• 解决语义分割中无监督域自适应（UDA）的实际限制，即由于隐私或商业限制，源数据集往往不可用。
• 克服在无源数据访问条件下保持源域知识的挑战。
• 仅利用预训练的源模型和未标注的目标域数据集，实现有效的域自适应。
• 设计一个保持像素级语义一致性的框架，并利用目标域的自监督信号。
• 缩小无源与源驱动UDA方法在语义分割中的性能差距。

提出的方法

• 提出两阶段框架：通过无需数据的知识蒸馏，利用生成器合成伪造的类似源域样本，实现知识迁移。
• 引入双重注意力蒸馏（DAD）机制，以在合成样本中保持上下文和语义关系，提升像素级知识迁移效果。
• 训练生成器以最小化源模型预测与合成样本预测之间的平均绝对误差（MAE），确保分布对齐。
• 设计域内局部块级自监督模块（IPSM），用于识别并利用目标域中高置信度、正确分割的局部块，实现自监督学习。
• 通过对抗损失、MAE损失、DAD损失和IPSM损失的组合优化目标模型，采用超参数α和β进行自适应加权。
• 在源模型与目标模型的中间层之间实施特征级蒸馏，以增强适应过程中的特征一致性。

实验结果

研究问题

• RQ1 在无法访问原始源数据的情况下，能否有效恢复并迁移源域知识至目标域？
• RQ2 双重注意力蒸馏如何提升合成样本的质量，以支持像素级语义分割任务？
• RQ3 在缺乏真实标注的情况下，目标域中的局部块伪标签在多大程度上可作为可靠的自监督信号？
• RQ4 所提出的无源框架在跨域语义分割中是否能达到与源驱动UDA方法相当的性能？
• RQ5 超参数α和β如何影响重建保真度与特征级蒸馏之间的平衡？

主要发现

• 在GTA5 → Cityscapes基准上，SFDA实现48.33%的mIoU，优于仅使用源模型的基线（45.87%），并在无源条件下与最先进源驱动UDA方法性能相当。
• 在跨城市适应（Cityscapes → Rio）中，SFDA达到49.03% mIoU，超过同设置下最佳源驱动基线（48.74%）。
• 消融实验表明，结合DAD与BNS损失的性能较仅使用BNS损失提升高达8.5%（在GTA5 → Cityscapes上）。
• IPSM模块显著提升性能：移除该模块后，mIoU在各数据集上下降1.5–2.0%，证实其在利用可靠目标域伪标签方面的价值。
• 超参数分析显示，α ≈ 1.0 和 β ≈ 0.5 可实现重建与蒸馏之间的最优平衡，当权重过高或过低时性能均下降。
• 可视化结果表明，DAD生成的样本保留了语义结构与上下文信息，而BNS损失确保了与源域的分布保真度。