[论文解读] Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview

Wenqi Ren, Yang Tang+3 more|arXiv (Cornell University)|Nov 13, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文全面综述了在2D图像、视频以及3D点云/网格分割任务中，少样本/零样本视觉语义分割方法的研究进展。文章回顾了各类技术方法——如度量学习、参数微调、记忆网络和生成建模——并强调其在仅使用极少或无需标注数据的情况下，对未见类别实现良好泛化的能力，同时指出了在效率、跨任务协作和多模态学习方面的主要挑战与未来研究方向。

ABSTRACT

Visual semantic segmentation aims at separating a visual sample into diverse blocks with specific semantic attributes and identifying the category for each block, and it plays a crucial role in environmental perception. Conventional learning-based visual semantic segmentation approaches count heavily on large-scale training data with dense annotations and consistently fail to estimate accurate semantic labels for unseen categories. This obstruction spurs a craze for studying visual semantic segmentation with the assistance of few/zero-shot learning. The emergence and rapid progress of few/zero-shot visual semantic segmentation make it possible to learn unseen-category from a few labeled or zero-labeled samples, which advances the extension to practical applications. Therefore, this paper focuses on the recently published few/zero-shot visual semantic segmentation methods varying from 2D to 3D space and explores the commonalities and discrepancies of technical settlements under different segmentation circumstances. Specifically, the preliminaries on few/zero-shot visual semantic segmentation, including the problem definitions, typical datasets, and technical remedies, are briefly reviewed and discussed. Moreover, three typical instantiations are involved to uncover the interactions of few/zero-shot learning with visual semantic segmentation, including image semantic segmentation, video object segmentation, and 3D segmentation. Finally, the future challenges of few/zero-shot visual semantic segmentation are discussed.

研究动机与目标

• 系统性回顾在2D、视频和3D分割任务中，少样本/零样本视觉语义分割的最新进展。
• 识别不同分割模态与场景下，技术策略与网络架构的共性与差异。
• 分析传统监督方法在处理未见类别时的局限性，以及少样本/零样本学习在克服这些局限中的作用。
• 探讨多模态监督（如文本嵌入、光流）在无需大量标注的情况下提升泛化能力的潜力。
• 概述在自动驾驶系统和工业监控等实际应用场景中部署少样本/零样本分割所面临的开放挑战与有前景的研究方向。

提出的方法

• 将少样本/零样本视觉语义分割的技术解决方案分类并分析，包括度量学习、参数微调、微调、记忆网络和生成建模。
• 回顾三类主要任务中的代表性模型与架构：图像语义分割（ISS）、视频实例分割（VOS）和3D分割（3DS），重点关注2D和3D点云/网格。
• 分析少样本学习中支持-查询范式的作用，即利用少量标注样本（支持集）指导查询样本的分割。
• 评估跨模态监督（如词嵌入和语言描述）在零样本分割中的作用，以弥合标注数据的差距。
• 提出轻量化网络设计的整合，以在保持分割精度的同时降低计算成本。
• 讨论视觉语义分割与其他视觉任务（如目标检测）之间的跨任务协作，以提升样本效率与模型泛化能力。

实验结果

研究问题

• RQ1 在2D、视频和3D设置中，少样本/零样本视觉语义分割所采用的核心技术方法是什么？
• RQ2 不同方法（如度量学习、记忆网络和生成模型）如何处理已见类别与未见类别之间的域偏移问题？
• RQ3 在图像、视频和3D分割任务中应用少样本/零样本学习的关键差异与相似性是什么？
• RQ4 当无标注数据可用时，多模态监督（如文本、光流）如何提升零样本分割性能？
• RQ5 在数据和计算资源有限的实际应用场景中，部署少样本/零样本视觉语义分割的主要开放挑战是什么？

主要发现

• 少样本/零样本视觉语义分割通过仅使用少量或无需标注样本，即可实现对未见类别的准确分割，显著降低了对标注数据的依赖。
• 基于度量学习的方法在少样本图像和视频分割中表现优异，因其能学习到具有判别性的特征空间，实现跨类别的良好泛化。
• 记忆网络与参数微调技术通过存储或适应支持集特征，提升了少样本学习的泛化能力，尤其在长序列或长尾分布场景中表现突出。
• 零样本分割中的生成建模方法利用语义嵌入（如词向量）生成伪分割掩码，从而实现在未见类别上的推理。
• 3D分割任务，特别是点云和网格上的任务，虽从少样本/零样本方法中受益，但因数据结构不规则和标注成本高而面临额外挑战。
• 跨任务协作（如将少样本目标检测与分割结合）可提升标注效率，并在数据有限的情况下改善性能。