[论文解读] Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations

Marvin Klingner, Jan-Aike Termöhlen+2 more|arXiv (Cornell University)|Nov 17, 2020

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出无监督批量归一化自适应（UBNA），一种新型的语义分割领域自适应方法，可在不使用任何源域数据或表征的情况下，仅利用预训练模型的参数，将预训练模型适配至目标域。通过使用指数衰减动量混合源域与目标域的批量归一化统计量，UBNA在零样本和少样本设置下均达到最先进性能，使mIoU提升最高达7.3%。

ABSTRACT

In this paper we present a solution to the task of "unsupervised domain adaptation (UDA) of a given pre-trained semantic segmentation model without relying on any source domain representations". Previous UDA approaches for semantic segmentation either employed simultaneous training of the model in the source and target domains, or they relied on an additional network, replaying source domain knowledge to the model during adaptation. In contrast, we present our novel Unsupervised BatchNorm Adaptation (UBNA) method, which adapts a given pre-trained model to an unseen target domain without using -- beyond the existing model parameters from pre-training -- any source domain representations (neither data, nor networks) and which can also be applied in an online setting or using just a few unlabeled images from the target domain in a few-shot manner. Specifically, we partially adapt the normalization layer statistics to the target domain using an exponentially decaying momentum factor, thereby mixing the statistics from both domains. By evaluation on standard UDA benchmarks for semantic segmentation we show that this is superior to a model without adaptation and to baseline approaches using statistics from the target domain only. Compared to standard UDA approaches we report a trade-off between performance and usage of source domain representations.

研究动机与目标

• 解决在因隐私或访问限制而无法获取源域数据时，将预训练语义分割模型适配至新目标域的挑战。
• 开发一种不依赖源域表征（包括数据、标签或辅助网络）的模型适配方法。
• 在仅能获取无标签目标数据的真实世界部署场景中，实现在线和少样本适配。
• 确保在不同网络架构和领域偏移场景（包括合成到真实和真实到真实设置）下的泛化能力。
• 提供即插即用的解决方案，在通过批量归一化统计量融合保留源知识的同时，适配目标域统计特性。

提出的方法

• 提出UBNA，通过结合预训练的源域统计量与从无标签目标数据计算的运行统计量，自适应地调整批量归一化（BN）层的统计量以适配目标域。
• 使用指数衰减动量因子混合源域与目标域的统计量，在保留部分源知识的同时适应目标域分布。
• 在预训练后以数据无关的方式执行适配过程，避免在推理或适配期间依赖源数据。
• 引入UBNA+，一种通过层间加权调整动量衰减的变体，通过聚焦于更早期、更具判别性的层来提升性能。
• 通过使用小批量无标签目标图像增量更新BN统计量，实现在线和少样本适配。
• 在适配过程中保持所有其他模型参数不变，确保计算开销最小化并兼容现有模型。

实验结果

研究问题

• RQ1 在无法访问任何源域数据或表征的情况下，能否有效将预训练语义分割模型适配至新目标域？
• RQ2 与仅使用目标域统计量相比，通过指数衰减动量混合源域与目标域批量归一化统计量，对适配性能有何影响？
• RQ3 所提方法能否在不同网络架构和领域偏移场景（包括合成到真实和真实到真实设置）下实现泛化？
• RQ4 UBNA在仅使用极少目标数据的在线或少样本学习设置中，其适用程度如何？
• RQ5 UBNA+中的层间加权是否在多种数据集和架构上均能持续优于标准UBNA？

主要发现

• UBNA在GTA-5到Cityscapes上提升mIoU 5.0%，在SYNTHIA到Cityscapes上提升4.6%至5.8%，在Cityscapes到KITTI上提升7.3%，且未使用任何源域表征。
• 使用ResNet-34的最优模型在KITTI测试集上达到60.3%的mIoU，显著优于未适配基线的54.7%。
• UBNA+在所有架构和数据集上均持续优于标准UBNA，尤其在真实到真实设置中提升最大。
• 该方法在使用相同超参数的6种不同网络架构（VGG和ResNet变体）上均表现良好，展现出强大的迁移能力。
• 顺序适配实验表明，UBNA可逆：当适配至新域时，原始域性能仅下降3%，在重新适配回原域后可完全恢复。
• 该方法在少样本和在线设置中均有效，性能增益可在未参与适配的保留测试集上稳定复现。