[论文解读] Open-vocabulary Semantic Segmentation with Frozen Vision-Language Models

Chaofan Ma, Yuhuan Yang+3 more|arXiv (Cornell University)|Oct 27, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

本文提出Fusioner，一种轻量级的基于Transformer的融合模块，通过对齐自监督模型中的冻结视觉与语言特征，实现零样本开放词汇语义分割。尽管仅使用冻结特征，其在PASCAL-5i和COCO-20i基准上均达到最先进性能，在零样本和少样本设置下显著优于先前方法。

ABSTRACT

When trained at a sufficient scale, self-supervised learning has exhibited a notable ability to solve a wide range of visual or language understanding tasks. In this paper, we investigate simple, yet effective approaches for adapting the pre-trained foundation models to the downstream task of interest, namely, open-vocabulary semantic segmentation. To this end, we make the following contributions: (i) we introduce Fusioner, with a lightweight, transformer-based fusion module, that pairs the frozen visual representation with language concept through a handful of image segmentation data. As a consequence, the model gains the capability of zero-shot transfer to segment novel categories; (ii) without loss of generality, we experiment on a broad range of self-supervised models that have been pre-trained with different schemes, e.g. visual-only models (MoCo v3, DINO), language-only models (BERT), visual-language model (CLIP), and show that, the proposed fusion approach is effective to any pair of visual and language models, even those pre-trained on a corpus of uni-modal data; (iii) we conduct thorough ablation studies to analyze the critical components in our proposed Fusioner, while evaluating on standard benchmarks, e.g. PASCAL-5i and COCO-20i , it surpasses existing state-of-the-art models by a large margin, despite only being trained on frozen visual and language features; (iv) to measure the model's robustness on learning visual-language correspondence, we further evaluate on synthetic dataset, named Mosaic-4, where images are constructed by mosaicking the samples from FSS-1000. Fusioner demonstrates superior performance over previous models.

研究动机与目标

• 使用预训练的视觉与语言模型，实现对新型未见物体类别的零样本语义分割。
• 开发一种简单而有效的融合机制，无需微调主干模型，即可连接冻结的视觉与语言表征。
• 在多种自监督预训练方案下评估该方法，包括单模态（如MoCo、DINO、BERT）和多模态（如CLIP）模型。
• 通过新的合成基准Mosaic-4评估模型在视觉-语言定位任务中的鲁棒性。
• 证明模型在域迁移场景（如从COCO到PASCAL VOC）下的可迁移性。

提出的方法

• 该方法使用冻结的视觉编码器（如MoCo、DINO）和冻结的语言编码器（如BERT、CLIP）提取图像和文本特征。
• 一个轻量级的基于Transformer的融合模块通过交叉注意力机制迭代更新视觉与文本特征，实现跨模态交互。
• 通过计算L2归一化后的像素特征与各类别文本嵌入之间的余弦相似度，生成分割掩码。
• 视觉解码器用于将融合后的特征上采样至完整图像分辨率，从而提升掩码质量。
• 所有视觉与语言模型在训练过程中保持冻结，仅训练融合模块与解码器。
• 模型在少量图像-分割标注数据上进行训练，从而实现对未见类别的零样本泛化。

实验结果

研究问题

• RQ1 一个简单的融合模块能否有效连接冻结的视觉与语言表征，以实现开放词汇语义分割？
• RQ2 所提出的方法是否能在多种预训练方案下泛化，包括单模态（仅视觉或仅语言）和多模态（视觉-语言）模型？
• RQ3 在域迁移和复杂场景组合下，模型的视觉-语言定位能力有多强鲁棒性？
• RQ4 该方法是否能在不微调主干模型的前提下，在零样本和少样本设置下实现最先进性能？
• RQ5 该方法在从COCO到PASCAL VOC的迁移中，尤其对未见类别，泛化能力如何？

主要发现

• 在使用ViT-L主干网络的COCO-20i上，Fusioner实现了56.5%的平均IoU，显著优于先前最先进方法LSeg的24.8个百分点（零样本设置）。
• 在PASCAL-5i上，模型在从COCO进行零样本迁移时达到44.4%的mIoU，较先前最先进方法LSeg高出12.7个百分点。
• 消融研究显示，若移除融合模块，性能下降21%，证明其在跨模态对齐中的关键作用。
• 视觉解码器贡献显著，因为若直接上采样而不使用它，性能将下降5%。
• 在合成基准Mosaic-4上，Fusioner在将视觉特征与文本描述对齐方面表现出更优的鲁棒性，优于先前模型。
• 该方法在多种预训练方案（包括MoCo v3、DINO、BERT和CLIP）下均表现出有效泛化，证明其广泛适用性。