[论文解读] Smoothing Matters: Momentum Transformer for Domain Adaptive Semantic Segmentation

Runfa Chen, Yu Rong+5 more|arXiv (Cornell University)|Mar 15, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出 TransDA，一种基于动量的 Transformer 框架，通过动量网络平滑伪标签和特征，从而稳定域自适应语义分割中的训练动态，在 GTA5→Cityscapes 和 SYNTHIA→Cityscapes 基准上实现最先进性能，mIoU 达到 60.6，适应增益提升 21.4。

ABSTRACT

After the great success of Vision Transformer variants (ViTs) in computer vision, it has also demonstrated great potential in domain adaptive semantic segmentation. Unfortunately, straightforwardly applying local ViTs in domain adaptive semantic segmentation does not bring in expected improvement. We find that the pitfall of local ViTs is due to the severe high-frequency components generated during both the pseudo-label construction and features alignment for target domains. These high-frequency components make the training of local ViTs very unsmooth and hurt their transferability. In this paper, we introduce a low-pass filtering mechanism, momentum network, to smooth the learning dynamics of target domain features and pseudo labels. Furthermore, we propose a dynamic of discrepancy measurement to align the distributions in the source and target domains via dynamic weights to evaluate the importance of the samples. After tackling the above issues, extensive experiments on sim2real benchmarks show that the proposed method outperforms the state-of-the-art methods. Our codes are available at https://github.com/alpc91/TransDA

研究动机与目标

• 探究局部视觉 Transformer（ViTs）在域自适应语义分割中尽管具备强大表征能力，却仍出现性能下降的原因。
• 识别 ViT 模型在自训练和对抗适应过程中训练动态不稳定的根源，尤其是由于伪标签和特征中存在高频分量。
• 提出一种通过动量网络实现的低通滤波机制，以稳定目标域特征和伪标签生成过程中的学习动态。
• 通过引入动态差异度量，自适应地加权样本重要性，提升对抗对齐过程中的域泛化能力。
• 在不增加训练复杂度的前提下，为基于 ViT 的域自适应语义分割建立新的最先进基线。

提出的方法

• 该方法引入一个动量网络，保留源域特征提取器和分类器的缓慢更新副本，用于为目标域生成平滑的伪标签和特征。
• 动量网络对目标网络参数应用指数平均，有效充当低通滤波器，抑制预测和特征中的高频噪声。
• 框架整合知识蒸馏与对抗训练，其中源模型作为教师，为学生模型在目标域上提供稳定监督。
• 提出一种动态差异度量策略，自适应地在对抗特征对齐过程中为样本分配重要性权重，提升模型鲁棒性与收敛性。
• 该方法应用于标准的自训练与对抗训练流程中，仅做最小的架构修改，支持与基于 CNN 的基线方法进行直接比较。

实验结果

研究问题

• RQ1 为何局部视觉 Transformer 在具备强大表征能力的情况下，仍会在域自适应语义分割中表现不佳？
• RQ2 ViT 模型在目标域的自训练与对抗适应过程中，训练动态不稳定的根源是什么？
• RQ3 对伪标签和特征进行低通滤波是否能提升基于 ViT 模型在域适应中的泛化能力与稳定性？
• RQ4 基于动量的机制如何有效替代密集预测任务（如语义分割）中传统的查表式滤波方法？
• RQ5 在特征对齐过程中对样本进行动态加权，是否能进一步提升域自适应性能？

主要发现

• TransDA 在 GTA5→Cityscapes 基准上实现了 60.6 的新最先进 mIoU，显著优于先前方法。
• TransDA 的适应增益达到 +21.4 mIoU（60.6 - 39.2），较先前最先进方法 ProDA 提升 +0.7。
• 在 SYNTHIA→Cityscapes 基准上，TransDA 达到 62.2 mIoU，适应增益为 +24.5，超越 ProDA 的 +23.4。
• 消融实验表明，动量系数为 0.999 时性能最佳（59.3 mIoU），过低或过高均因不稳定或过度平滑导致性能下降。
• 可视化结果表明，与 CNN 和原始 ViT 相比，TransDA 在跨域场景下生成了更清晰分离、更具鲁棒性的特征表示。
• 动量网络有效抑制了训练迭代过程中预测结果的波动，表现为连续预测之间的 L1 距离显著降低。