[论文解读] Unsupervised Domain Adaptation for Semantic Image Segmentation: a Comprehensive Survey

Gabriela Csurka, Riccardo Volpi+1 more|arXiv (Cornell University)|Dec 6, 2021

Domain Adaptation and Few-Shot Learning被引用 26

一句话总结

对无监督领域自适应语义图像分割（DASiS）的全面综述，详细介绍问题表述、方法分类、对齐层次和数据集。

ABSTRACT

Semantic segmentation plays a fundamental role in a broad variety of computer vision applications, providing key information for the global understanding of an image. Yet, the state-of-the-art models rely on large amount of annotated samples, which are more expensive to obtain than in tasks such as image classification. Since unlabelled data is instead significantly cheaper to obtain, it is not surprising that Unsupervised Domain Adaptation reached a broad success within the semantic segmentation community. This survey is an effort to summarize five years of this incredibly rapidly growing field, which embraces the importance of semantic segmentation itself and a critical need of adapting segmentation models to new environments. We present the most important semantic segmentation methods; we provide a comprehensive survey on domain adaptation techniques for semantic segmentation; we unveil newer trends such as multi-domain learning, domain generalization, test-time adaptation or source-free domain adaptation; we conclude this survey by describing datasets and benchmarks most widely used in semantic segmentation research. We hope that this survey will provide researchers across academia and industry with a comprehensive reference guide and will help them in fostering new research directions in the field.

研究动机与目标

• 澄清 DASiS 问题及其在语义分割标注成本方面的动机。
• 通过对齐层级、骨干网络和互补技术，对现有 DASiS 方法进行评估和分类。
• 强调多领域学习、领域泛化、测试时自适应和源无关自适应等趋势。
• 就 DASiS 研究的数据集、基准和评估协议提供指南。

提出的方法

• 给出一个正式的无监督领域自适应/ DASiS 框架，包含源域、目标域和像素级分割输出。
• 按对齐层级（输入/图像层、特征层、输出/预测层）和网络共享配置对 DASiS 方法进行分类。
• 描述核心损失函数和训练策略，包括分布差异最小化、带域判别器的对抗训练以及任务特定损失。
• 将图像级风格迁移和图像到图像翻译作为输入层对齐的手段来讨论。
• 评述互补技术，如自训练、课程学习、信息熵最小化和协同训练在 DASiS 中的应用。
• 提供 DASiS 的数据集、指标和评估协议的分类和整合视角。

实验结果

研究问题

• RQ1 在没有目标注释的情况下，将语义分割模型跨域迁移的主要挑战是什么？
• RQ2 DASiS 方法如何在分割管线的多个层面有效对齐源域和目标域分布？
• RQ3 在 DASiS 中，域对齐技术与互补策略最有效的组合是什么？
• RQ4 数据集和评估协议如何影响 DASiS 方法的基准测试？
• RQ5 如领域泛化、测试时自适应和源无关方法等新兴趋势在 DASiS 中表现如何？

主要发现

• 呈现了对 DASiS 方法的广泛分类，突出像素、特征和输出层面的对齐。
• 对抗训练和分布差异最小化在多层次或区域级表示中很常见。
• 输入层（图像/风格）迁移和语义一致性约束是对特征层对齐的有效补充。
• 综述讨论了多领域学习、领域泛化、源无关自适应和测试时自适应等上升趋势。
• 提供了数据集、基准、评估度量和协议的详细比较，以便进行公平对比。