[论文解读] Unsupervised Adaptation of Semantic Segmentation Models without Source Data

Sujoy Paul, Ansh Khurana+1 more|arXiv (Cornell University)|Dec 4, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种无源数据访问条件下的语义分割无监督域自适应自训练框架，通过置信度过滤的伪标签和空间变换与增强变换下的输入-输出一致性实现。该方法在GTA5→Cityscapes、SYNTHIA→Cityscapes以及SceneNet→SUN任务上均达到最先进性能，优于现有无源方法，并接近使用源数据的最先进结果。

ABSTRACT

We consider the novel problem of unsupervised domain adaptation of source models, without access to the source data for semantic segmentation. Unsupervised domain adaptation aims to adapt a model learned on the labeled source data, to a new unlabeled target dataset. Existing methods assume that the source data is available along with the target data during adaptation. However, in practical scenarios, we may only have access to the source model and the unlabeled target data, but not the labeled source, due to reasons such as privacy, storage, etc. In this work, we propose a self-training approach to extract the knowledge from the source model. To compensate for the distribution shift from source to target, we first update only the normalization parameters of the network with the unlabeled target data. Then we employ confidence-filtered pseudo labeling and enforce consistencies against certain transformations. Despite being very simple and intuitive, our framework is able to achieve significant performance gains compared to directly applying the source model on the target data as reflected in our extensive experiments and ablation studies. In fact, the performance is just a few points away from the recent state-of-the-art methods which use source data for adaptation. We further demonstrate the generalisability of the proposed approach for fully test-time adaptation setting, where we do not need any target training data and adapt only during test-time.

研究动机与目标

• 为解决因隐私或存储限制而无法访问原始标注源数据时，将语义分割模型适配到新领域这一实际挑战。
• 开发一种自训练框架，仅利用未标注的目标数据从预训练的源模型中提取知识。
• 证明在无源数据条件下，一致性正则化与伪标签技术在域自适应中的有效性。
• 将所提方法扩展至完全测试时自适应设置，实现在无任何目标训练数据的前提下，对每个推理样本进行自适应。

提出的方法

• 首先仅通过未标注的目标数据更新目标模型的归一化（批量归一化）参数，以减少分布偏移。
• 使用源模型为未标注的目标图像生成伪标签，并应用置信度过滤以剔除低置信度预测。
• 通过在输入图像上应用空间变换（如旋转、翻转）和数据增强（如cutout、模糊）来强制实现输入-输出一致性，并确保不同视图下的预测保持一致。
• 通过约束目标函数进行优化：在满足由变换输入导出的一致性约束前提下，最小化伪标签损失。
• 引入一种基于图像拼接的数据增强策略，以提升训练多样性并改善泛化能力。
• 通过在每个预测后将模型重置为源模型权重，将框架适配至测试时自适应，对每个测试图像应用一致性损失。

实验结果

研究问题

• RQ1 在无法访问原始源训练数据的条件下，能否有效将语义分割模型适配到新领域？
• RQ2 在无源数据条件下，基于一致性的自训练与伪标签方法在域自适应中有多有效？
• RQ3 所提方法能否实现与使用源数据进行自适应的最先进方法相媲美甚至更优的性能？
• RQ4 基于一致性的方法是否能推广至完全测试时自适应设置，即在无任何目标训练数据的情况下实现自适应？

主要发现

• 在GTA5→Cityscapes任务上，该方法达到39.3 mIoU，优于现有无源方法，并与使用源数据的最先进方法仅相差几个点。
• 在SYNTHIA→Cityscapes任务上，该方法达到33.2 mIoU，展现出在多样化户外场景中的强大泛化能力。
• 对于全新的室内域偏移（SceneNet→SUN），该方法达到27.6 mIoU，首次在该此前未探索的设置中建立新的最先进水平。
• 在完全测试时自适应设置下，该方法在GTA5→Cityscapes任务上达到39.3 mIoU，优于近期TTA方法中专门设计的损失函数。
• 消融实验表明，微调源模型的性能劣于从零开始训练新目标模型，凸显了从全新初始化中获益的优势。
• 在原始图像上应用基于一致性的伪标签（而非增强后的图像）比在增强图像上进行伪标签化表现更优，证实了变换顺序的重要性。