[论文解读] Uncertainty-Aware Consistency Regularization for Cross-Domain Semantic Segmentation

Qianyu Zhou, Zhengyang Feng+5 more|arXiv (Cornell University)|Apr 19, 2020

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

该论文提出了一种不确定性感知的一致性正则化方法，用于跨域语义分割，通过基于预测不确定性的动态加权一致性损失，并利用类别级扰动策略实现细粒度区域一致性，从而提升知识迁移效果。该方法在四个基准数据集上实现了最先进性能，包括GTA5→Cityscapes和SYNTHIA→Cityscapes。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to adapt existing models of the source domain to a new target domain with only unlabeled data. Most existing methods suffer from noticeable negative transfer resulting from either the error-prone discriminator network or the unreasonable teacher model. Besides, the local regional consistency in UDA has been largely neglected, and only extracting the global-level pattern information is not powerful enough for feature alignment due to the abuse use of contexts. To this end, we propose an uncertainty-aware consistency regularization method for cross-domain semantic segmentation. Firstly, we introduce an uncertainty-guided consistency loss with a dynamic weighting scheme by exploiting the latent uncertainty information of the target samples. As such, more meaningful and reliable knowledge from the teacher model can be transferred to the student model. We further reveal the reason why the current consistency regularization is often unstable in minimizing the domain discrepancy. Besides, we design a ClassDrop mask generation algorithm to produce strong class-wise perturbations. Guided by this mask, we propose a ClassOut strategy to realize effective regional consistency in a fine-grained manner. Experiments demonstrate that our method outperforms the state-of-the-art methods on four domain adaptation benchmarks, i.e., GTAV $ ightarrow $ Cityscapes and SYNTHIA $ ightarrow $ Cityscapes, Virtual KITTI $ ightarrow$ KITTI and Cityscapes $ ightarrow$ KITTI.

研究动机与目标

• 解决无监督域自适应（UDA）语义分割中的不稳定性和负迁移问题。
• 通过不确定性估计过滤不可靠预测，提升教师到学生模型的知识迁移效果。
• 增强局部区域一致性，防止对上下文线索的过度依赖，提升对域偏移的鲁棒性。
• 通过引入细粒度的、类别级的扰动，克服全局一致性正则化的局限性。
• 设计一种动态加权方案，根据目标预测中的认知不确定性自适应调整一致性损失。

提出的方法

• 引入一种基于目标预测潜在认知不确定性的动态加权方案的一致性损失，实现不确定性引导的一致性损失。
• 提出一种ClassDrop掩码生成算法，在训练过程中为输入图像生成强类别级扰动。
• 设计一种ClassOut策略，通过ClassDrop掩码引导的扰动，强制实现细粒度的区域一致性。
• 利用指数移动平均（EMA）教师模型以稳定训练并改善特征对齐。
• 通过多次随机前向传播并应用多种增强方法（如颜色抖动、随机裁剪、高斯噪声）以提升鲁棒性。
• 利用参数α和β制定动态不确定性加权阈值，控制一致性损失的敏感度。

实验结果

研究问题

• RQ1 不确定性估计如何提升基于一致性方法的UDA在语义分割中知识迁移的可靠性？
• RQ2 为何标准的一致性正则化在最小化域差异时不稳定？如何缓解此问题？
• RQ3 通过类别级扰动强制实现的细粒度区域一致性，是否能超越全局一致性，提升特征对齐？
• RQ4 动态不确定性加权与一致性正则化的最优超参数配置（λ₀, α, β, N）是什么？
• RQ5 不同数据增强方法如何与所提的一致性正则化协同作用，以提升域自适应性能？

主要发现

• 所提方法在四个跨域语义分割基准上实现了最先进性能，包括GTA5→Cityscapes和SYNTHIA→Cityscapes。
• 在使用ResNet101主干网络的SYNTHIA→Cityscapes基准上，该方法实现了55.9%的平均mIoU，优于以往最先进方法。
• 消融实验证明，所有增强方法（高斯噪声、颜色抖动、随机裁剪）具有互补性且对最优性能至关重要。
• 最优超参数配置下，当λ₀ = 0.1，α = 0.725，β ≈ -4.8，且N = 8时，mIoU达到最高。
• 与标准Mean Teacher相比，不确定性引导的动态加权方案显著提升了训练稳定性，防止了误差累积。
• 结合ClassDrop掩码的ClassOut策略提升了局部区域一致性，减少了对上下文线索的过度依赖，增强了对域偏移的鲁棒性。