[论文解读] Semantic Segmentation In-the-Wild Without Seeing Any Segmentation Examples

Nir Zabari, Yedid Hoshen|arXiv (Cornell University)|Dec 6, 2021

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出了一种零样本语义分割方法，通过利用CLIP的视觉-语言嵌入以及推理时增强技术，仅从图像级别类别描述生成高质量的分割掩码，而无需任何像素级注释。该方法通过使用经过优化的相关性图作为单张图像分割模型的伪监督信号，在罕见和未见类别上显著优于现有的弱监督方法。

ABSTRACT

Semantic segmentation is a key computer vision task that has been actively researched for decades. In recent years, supervised methods have reached unprecedented accuracy, however they require many pixel-level annotations for every new class category which is very time-consuming and expensive. Additionally, the ability of current semantic segmentation networks to handle a large number of categories is limited. That means that images containing rare class categories are unlikely to be well segmented by current methods. In this paper we propose a novel approach for creating semantic segmentation masks for every object, without the need for training segmentation networks or seeing any segmentation masks. Our method takes as input the image-level labels of the class categories present in the image; they can be obtained automatically or manually. We utilize a vision-language embedding model (specifically CLIP) to create a rough segmentation map for each class, using model interpretability methods. We refine the maps using a test-time augmentation technique. The output of this stage provides pixel-level pseudo-labels, instead of the manual pixel-level labels required by supervised methods. Given the pseudo-labels, we utilize single-image segmentation techniques to obtain high-quality output segmentation masks. Our method is shown quantitatively and qualitatively to outperform methods that use a similar amount of supervision. Our results are particularly remarkable for images containing rare categories.

研究动机与目标

• 为解决监督语义分割方法因需要为每个新类别进行大量像素级注释而带来的高成本和可扩展性限制。
• 实现在缺乏标注训练数据的情况下对罕见或未见物体类别进行语义分割。
• 开发一种仅使用图像级别标签和预训练视觉-语言模型即可生成准确分割掩码的方法，从而消除对手动像素注释的需求。
• 通过用自动生成的伪标签替代人工监督，提升在长尾分布和罕见类别上的性能。

提出的方法

• 该方法利用CLIP通过解析图像特征与描述各类别的文本提示之间的注意力激活，生成每类的相关性图。
• 应用推理时增强（TTA）技术，通过多种图像视图（如裁剪、翻转、对比度调整）来优化噪声较大的相关性图，提升定位精度。
• 将优化后的每类相关性图合并为多类别分割图，作为下游分割任务的像素级伪标签。
• 这些伪标签用于初始化无监督聚类或交互式分割模型，替代人工注释。
• 采用随机采样而非硬性二值化，以更好地处理相关性图中的不确定性，从而提升分割质量。
• 该方法可兼容任意单张图像分割模型，作为即插即用的伪监督模块。

实验结果

研究问题

• RQ1 视觉-语言模型（如CLIP）能否被有效利用，在无需任何像素级监督的情况下生成准确的伪分割掩码？
• RQ2 推理时增强如何提升从CLIP注意力机制中提取的相关性图的质量？
• RQ3 经优化的基于CLIP的相关性图能否作为单张图像分割模型的有效伪监督信号？
• RQ4 与现有弱监督或少样本方法相比，该方法在罕见或长尾类别上的表现如何？
• RQ5 哪些设计选择（如增强策略、二值化阈值或采样方法）对分割性能影响最大？

主要发现

• 与采用相似监督水平的其他方法相比，该方法在标准基准测试中实现了更优的定量性能，尤其在罕见类别上表现突出。
• 推理时增强显著提升了分割质量，其中裁剪视图贡献最大，而同时使用所有视图可进一步提升性能。
• 伪标签的随机采样优于硬性二值化，因为它能更好地处理CLIP相关性图中的不确定性和噪声。
• 使用3个自动生成的点击点进行交互式分割优于无监督聚类方法，且两种方法均从伪监督中获得显著性能提升。
• 在PASCAL VOC和包含罕见类别的真实场景图像上的定性结果表明，该方法对罕见和独特类别具有强鲁棒性。
• 消融实验确认，基于CLIP的相关性图生成和TTA优化均为实现高性能的关键组件。