[论文解读] Semantic Image Segmentation: Two Decades of Research

Gabriela Csurka, Riccardo Volpi+1 more|arXiv (Cornell University)|Feb 13, 2023

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

一部涵盖两十年的语义图像分割（SiS）全方位综述，涵盖历史方法、深度学习进展、变换器、弱监督，以及 DASiS 域自适应领域景观，以及数据集与基准。

ABSTRACT

Semantic image segmentation (SiS) plays a fundamental role in a broad variety of computer vision applications, providing key information for the global understanding of an image. This survey is an effort to summarize two decades of research in the field of SiS, where we propose a literature review of solutions starting from early historical methods followed by an overview of more recent deep learning methods including the latest trend of using transformers. We complement the review by discussing particular cases of the weak supervision and side machine learning techniques that can be used to improve the semantic segmentation such as curriculum, incremental or self-supervised learning. State-of-the-art SiS models rely on a large amount of annotated samples, which are more expensive to obtain than labels for tasks such as image classification. Since unlabeled data is instead significantly cheaper to obtain, it is not surprising that Unsupervised Domain Adaptation (UDA) reached a broad success within the semantic segmentation community. Therefore, a second core contribution of this book is to summarize five years of a rapidly growing field, Domain Adaptation for Semantic Image Segmentation (DASiS) which embraces the importance of semantic segmentation itself and a critical need of adapting segmentation models to new environments. In addition to providing a comprehensive survey on DASiS techniques, we unveil also newer trends such as multi-domain learning, domain generalization, domain incremental learning, test-time adaptation and source-free domain adaptation. Finally, we conclude this survey by describing datasets and benchmarks most widely used in SiS and DASiS and briefly discuss related tasks such as instance and panoptic image segmentation, as well as applications such as medical image segmentation.

研究动机与目标

• 回顾语义图像分割从深度学习前的方法到现代深度学习与变换器的发展演变。
• 调研弱监督、课程学习、增量学习与自监督策略以提升 SiS。
• 总结 SiS（DASiS）五年的领域自适应及相关任务，如领域泛化、测试时自适应，以及无源自适应。
• 编目 SiS 与 DASiS 的数据集、基准和评估协议，并讨论相关任务，如实例分割、全景分割和医学图像分割。

提出的方法

• 将两部分调查分为：SiS（第一章）和 DASiS（第二章）。
• 按骨干网络、解码器、注意力和多尺度策略对深度 SiS 模型进行分类；包括编码器-解码器、FCNs 以及基于变换器的方法。
• 给出 Table 2.1，以及跨模型的数据流和设计选择的结构图。
• 讨论非标准设置，如弱监督、课程学习、增量学习，以及自监督预训练。
• 在第3章提供数据集、基准和评估协议，并在第4章讨论相关任务。

实验结果

研究问题

• RQ1 在过去二十年中，语义图像分割的主要方法论转变是什么？
• RQ2 领域自适应及相关 DASiS 方法如何应对领域转移与现实世界部署的挑战？
• RQ3 哪些数据集、基准和评估协议主导了 SiS 与 DASiS 的研究，它们之间有何比较？
• RQ4 在 SiS 领域有哪些尚待解决的研究方向与潜在未来趋势，包括变换器与自监督学习？

主要发现

• 深度学习推动了 SiS 的性能，但对大规模带注释数据的依赖仍然是瓶颈；合成数据和领域自适应有助于弥合与真实世界数据的差距。
• 变换器和注意力机制已成为现代 SiS 模型的核心趋势。
• 广泛的 DASiS 分类和相关任务的讨论（多源/目标自适应、领域泛化、无源自适应、测试时自适应）为该领域提供了全面的映射。
• 课程学习、增量学习与自监督策略被强调为在没有完全监督数据的情况下提升 SiS 的方法。
• 本书列举了数据集与基准，并将 SiS 在实例分割、全景分割和医学图像分割等相关任务中定位，为研究人员与行业从业者提供参考指南。