[论文解读] Prototypical Pseudo Label Denoising and Target Structure Learning for Domain Adaptive Semantic Segmentation

Pan Zhang, Bo Zhang+4 more|arXiv (Cornell University)|Jan 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 71被引用 36

一句话总结

ProDA 使用即时在线原型来去噪伪标签并强化目标结构的一致性，以及对自监督模型的蒸馏，达到最先进的域自适应语义分割结果。

ABSTRACT

Self-training is a competitive approach in domain adaptive segmentation, which trains the network with the pseudo labels on the target domain. However inevitably, the pseudo labels are noisy and the target features are dispersed due to the discrepancy between source and target domains. In this paper, we rely on representative prototypes, the feature centroids of classes, to address the two issues for unsupervised domain adaptation. In particular, we take one step further and exploit the feature distances from prototypes that provide richer information than mere prototypes. Specifically, we use it to estimate the likelihood of pseudo labels to facilitate online correction in the course of training. Meanwhile, we align the prototypical assignments based on relative feature distances for two different views of the same target, producing a more compact target feature space. Moreover, we find that distilling the already learned knowledge to a self-supervised pretrained model further boosts the performance. Our method shows tremendous performance advantage over state-of-the-art methods. We will make the code publicly available.

研究动机与目标

• 通过提高伪标签质量和目标特征结构，缩小无监督域自适应语义分割（UDA）中的域间差距。
• 利用类别原型在线修正伪标签并学习紧凑的目标特征空间。
• 引入基于一致性的结构学习模块，以在扩增视图之间对齐目标表征。
• 证明对自监督预训练模型进行蒸馏可进一步提升UDA性能。

提出的方法

• 从目标特征计算即时的类别原型（η^(k)），并使用移动平均方案更新它们。
• 使用固定的模板软标签 p_t,0 来修正伪标签，并通过基于到原型距离的权重 ω_t^(i,k) 调制（方程4）。
• 使用对称交叉熵损失（SCE）进行训练，以容忍嘈杂的伪标签（方程7）。
• 通过KL散度（方程9）和类别分布正则化项（方程10），在弱增强与强增强之间通过原型一致性来 强制目标结构一致。
• 可选地使用 KD 损失（方程12）将知识蒸馏到自监督预训练的学生模型。

实验结果

研究问题

• RQ1 在线原型信息在UDA的自训练中能否纠正嘈杂的伪标签以提升语义分割？
• RQ2 通过原型一致性强化紧凑目标结构是否在除去标签噪声之外还能提升目标域的判别力？
• RQ3 将学习到的目标知识蒸馏到自监督预训练模型对UDA性能的影响是什么？
• RQ4 ProDA对超参数及不同目标域数据集（GTA5/SYNTHIA 到 Cityscapes）有多鲁棒？

主要发现

• ProDA 在 GTA5 → Cityscapes 上达到最先进的 mIoU：57.5。
• ProDA 在 SYNTHIA → Cityscapes 上达到最先进的 mIoU：55.5（16 类）和 62.0（13 类）。
• 非自适应基线增益：相较于源训练模型，ProDA 在 GTA5→Cityscapes 提升了 +20.9 mIoU，在 SYNTHIA→Cityscapes 上也取得了显著增益（+20.6）。
• 消融实验显示各组成部分带来显著增益：原型去噪、目标结构学习和知识蒸馏可累积达到 57.5 mIoU；完整流程显著超越基础自训练。
• 可视化结果显示，与基线相比，ProDA 产生更紧凑、分离良好的目标特征簇。