[论文解读] Semi-Supervised Domain Adaptation via Adaptive and Progressive Feature Alignment

Jiaxing Huang, Dayan Guan+2 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用 5

一句话总结

该论文提出SSDAS，一种新颖的半监督域自适应语义分割框架，利用少量已标注的目标样本作为锚点，实现自适应的跨域特征对齐与渐进式的域内对齐。通过迭代地根据与已标注目标样本的相似性重新加权源域特征，并用高置信度的目标域特征替换不相似的源域特征，SSDAS在GTA5→Cityscapes及其他基准上实现了最先进性能，优于现有的无监督与半监督方法。

ABSTRACT

Contemporary domain adaptive semantic segmentation aims to address data annotation challenges by assuming that target domains are completely unannotated. However, annotating a few target samples is usually very manageable and worthwhile especially if it improves the adaptation performance substantially. This paper presents SSDAS, a Semi-Supervised Domain Adaptive image Segmentation network that employs a few labeled target samples as anchors for adaptive and progressive feature alignment between labeled source samples and unlabeled target samples. We position the few labeled target samples as references that gauge the similarity between source and target features and guide adaptive inter-domain alignment for learning more similar source features. In addition, we replace the dissimilar source features by high-confidence target features continuously during the iterative training process, which achieves progressive intra-domain alignment between confident and unconfident target features. Extensive experiments show the proposed SSDAS greatly outperforms a number of baselines, i.e., UDA-based semantic segmentation and SSDA-based image classification. In addition, SSDAS is complementary and can be easily incorporated into UDA-based methods with consistent improvements in domain adaptive semantic segmentation.

研究动机与目标

• 为解决无监督域自适应（UDA）在处理大域差距时的局限性，通过引入少量已标注的目标样本。
• 开发一种专用于语义分割任务的半监督域自适应（SSDA）框架，该任务在SSDA中此前研究较少。
• 通过将已标注的目标样本用作动态锚点，提升源域与目标域之间的特征对齐。
• 通过在训练过程中逐步用高置信度的目标特征替换不相似的源特征，实现对源特征的渐进式优化。
• 证明SSDAS具有通用性，可与现有UDA方法兼容并提升其性能。

提出的方法

• 将少量已标注的目标样本作为锚点，计算源域与目标域特征之间的跨域相似性（CDS）。
• 根据源特征与已标注目标特征的相似性，自适应地重新加权源特征，使与目标相似的特征获得更高权重。
• 利用新加权的源特征更新特征中心，以指导对齐过程。
• 将目标特征对齐至更新后的特征中心，以优化域间对齐。
• 在迭代训练过程中，逐步用高置信度的目标特征替换不相似的源特征，以改善域内对齐。
• 使用拼图（Jigsaw Puzzle）分类器提取上下文感知特征，这些特征随后用于域对齐；尽管该方法也适用于传统特征。

实验结果

研究问题

• RQ1 少量已标注的目标样本能否显著提升域自适应语义分割的性能？
• RQ2 如何有效利用已标注的目标样本，以引导跨域间的自适应与渐进式特征对齐？
• RQ3 所提出的方法是否在语义分割任务中优于现有的无监督与半监督域自适应方法？
• RQ4 所提出的方法是否与现有无监督域自适应框架兼容，并具有互补性？
• RQ5 该方法对已标注目标样本数量与超参数变化的鲁棒性如何？

主要发现

• 在GTA5→Cityscapes基准上，当使用20个已标注目标样本时，SSDAS实现了52.6%的平均交并比（mIoU），显著优于基线方法S+T（44.6%）。
• 仅使用1个已标注目标样本时，SSDAS仍达到48.5%的mIoU，表明在极端少样本设置下也具备强大性能。
• 该方法对超参数变化具有鲁棒性：在不同Jigsaw Puzzle损失权重（λj）与拼图类别数（N）下，性能保持稳定。
• SSDAS在上下文感知特征与传统特征上均表现良好，在GTA5→Cityscapes上分别取得49.7% mIoU（上下文特征）与47.1% mIoU（传统特征）。
• 当集成到现有UDA方法中时，SSDAS始终能提升性能，表明其具备良好的互补性与泛化能力。
• 定性分析与特征可视化结果表明，SSDAS有效减小了域偏移，并提升了跨域特征的紧凑性。