[论文解读] Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP

Feng Liang, BoRui Wu+7 more|arXiv (Cornell University)|Oct 9, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

本文提出Mask-adapted CLIP，一种用于开放词汇语义分割的方法，通过在图像-标题数据集中挖掘的弱监督、多样化掩码-类别对上微调CLIP，同时引入掩码提示微调以处理掩码图像输入而无需更新CLIP权重。该方法在ADE20K-150上达到29.6%的mIoU，优于之前最先进方法8.5%，且在无需数据集特定适配的情况下匹配了监督专用模型的性能。

ABSTRACT

Open-vocabulary semantic segmentation aims to segment an image into semantic regions according to text descriptions, which may not have been seen during training. Recent two-stage methods first generate class-agnostic mask proposals and then leverage pre-trained vision-language models, e.g., CLIP, to classify masked regions. We identify the performance bottleneck of this paradigm to be the pre-trained CLIP model, since it does not perform well on masked images. To address this, we propose to finetune CLIP on a collection of masked image regions and their corresponding text descriptions. We collect training data by mining an existing image-caption dataset (e.g., COCO Captions), using CLIP to match masked image regions to nouns in the image captions. Compared with the more precise and manually annotated segmentation labels with fixed classes (e.g., COCO-Stuff), we find our noisy but diverse dataset can better retain CLIP's generalization ability. Along with finetuning the entire model, we utilize the "blank" areas in masked images using a method we dub mask prompt tuning. Experiments demonstrate mask prompt tuning brings significant improvement without modifying any weights of CLIP, and it can further improve a fully finetuned model. In particular, when trained on COCO and evaluated on ADE20K-150, our best model achieves 29.6% mIoU, which is +8.5% higher than the previous state-of-the-art. For the first time, open-vocabulary generalist models match the performance of supervised specialist models in 2017 without dataset-specific adaptations.

研究动机与目标

• 为解决预训练CLIP在开放词汇语义分割中因领域偏移导致在掩码图像区域上表现不佳的性能瓶颈。
• 在保留CLIP开放词汇泛化能力的同时，使其适应掩码输入，避免对封闭集标注的过拟合。
• 开发一种轻量级、参数高效的适应方法，提升CLIP在掩码图像上的性能，而无需微调其权重。
• 实现对任意用户自定义文本查询的零样本分割，无需重新训练或数据集特定适配。
• 证明通用开放词汇模型可达到监督专用模型的性能水平。

提出的方法

• 该方法从图像-标题数据集（如COCO Captions）中挖掘训练数据，通过从标题中提取名词，并将其与由分割模型生成的与类别无关的掩码提议进行匹配。
• 通过CLIP将每个名词与最相似的掩码区域提议匹配，构建弱监督的掩码-类别对，从而生成多样化且与开放词汇对齐的训练信号。
• 引入掩码提示微调，在推理过程中用可学习的提示令牌替换掩码图像中的零令牌，从而在不更新CLIP参数的情况下缓解领域偏移。
• 该方法支持仅提示微调（冻结CLIP权重）和提示与CLIP联合微调，其中前者展现出显著的性能提升。
• 最终模型在弱监督数据上端到端训练，并通过在未见文本查询上的零样本推理进行评估。
• 该方法在ADE20K-150和Pascal-Context上进行评估，展示了在多样化且开放性查询上的强大零样本泛化能力。

Figure 1 : (a) CLIP is pre-trained with natural images with little data augmentation. (b) Two-stage open-vocabulary semantic segmentation approaches first generate class-agnostic mask proposals and then leverage pre-trained CLIP to do open-vocabulary classification. The input of the CLIP model is cr

实验结果

研究问题

• RQ1 预训练的CLIP模型能否在不微调其权重的情况下，有效适应开放词汇语义分割中掩码图像区域的分类？
• RQ2 使用来自图像标题的弱监督、多样化掩码-类别对，是否比使用人工标注的封闭集分割标签更能保持CLIP的开放词汇泛化能力？
• RQ3 通过用可学习提示替换掩码（零）令牌的掩码提示微调，是否能显著提升CLIP在掩码图像上的性能，而无需修改其参数？
• RQ4 弱监督数据与掩码提示微调的结合，是否能使通用模型在开放词汇分割中达到与监督专用模型相当的性能？
• RQ5 该模型在训练中未见过的用户自定义、开放性文本查询上，泛化能力如何？

主要发现

• 所提方法在ADE20K-150上达到29.6%的mIoU，较之前最先进方法提升8.5%。
• 仅使用掩码提示微调，即可在ADE20K-150上使mIoU提升4.7%，在Pascal-Context上提升4.0%，且未更新任何CLIP权重。
• 当结合掩码提示微调与完整微调时，模型在mIoU上比完全微调的CLIP高出0.8%，证明其作为互补方法的有效性。
• 仅使用每张图像一个标题进行数据挖掘即可获得最佳性能（ADE20K-150上为28.8% mIoU），且速度比使用五个标题快5倍，表明在最小冗余下已具备充分覆盖。
• 该模型成功分割了用户自定义查询如“Saturn V”、“Oculus”和“golden gate”，且未在这些概念上进行任何训练，展示了强大的零样本泛化能力。
• 该方法在ADE20K-150上实现了与监督专用模型相当的性能，首次在无需数据集特定适配的情况下，使通用开放词汇模型达到专用模型的准确率水平。

Figure 2 : Two-stage approaches consist of one segmentation model, e.g . , MaskFormer, and one CLIP model. Firstly, the modified MaskFormer is trained with CLIP’s text embeddings so as to perform open-vocabulary segmentation. (Section 3.1 ). We then use the pre-trained segmentation model to generate