[论文解读] Prompt-Matched Semantic Segmentation

Lingbo Liu, Jianlong Chang+4 more|arXiv (Cornell University)|Aug 22, 2022

Advanced Neural Network Applications被引用 12

一句话总结

本文提出了一种分阶段提示匹配框架，用于对冻结的视觉基础模型进行参数高效的微调，以实现语义分割。通过在CNN和Transformer主干网络的各阶段之间插入一个轻量级的语义感知提示匹配器（SPM），该方法利用中间语义图逐步学习有效的视觉提示，仅使用176万个可训练参数即实现了最先进性能，优于全参数微调和先前的提示微调方法。

ABSTRACT

The objective of this work is to explore how to effectively and efficiently adapt pre-trained visual foundation models to various downstream tasks of semantic segmentation. Previous methods usually fine-tuned the entire networks for each specific dataset, which will be burdensome to store massive parameters of these networks. A few recent works attempted to insert some extra trainable parameters into the frozen networks to learn visual prompts for parameter-efficient tuning. However, these works showed poor generality as they were designed specifically for Transformers. Moreover, using limited information in these schemes, they exhibited a poor capacity to learn beneficial prompts. To alleviate these issues, we propose a novel Stage-wise Prompt-Matched Framework for generic and effective visual prompt tuning. Specifically, to ensure generality, we divide the pre-trained backbone with frozen parameters into multiple stages and perform prompt learning between different stages, which makes the proposed scheme applicable to various architectures of CNN and Transformer. For effective tuning, a lightweight Semantic-aware Prompt Matcher (SPM) is designed to progressively learn reasonable prompts with a recurrent mechanism, guided by the rich information of interim semantic maps. Working as deep matched filter of representation learning, the proposed SPM can well transform the output of the previous stage into a desirable input for the next stage, thus achieving the better matching/stimulating for the pre-trained knowledge. Extensive experiments on four benchmarks demonstrate that the proposed scheme can achieve a promising trade-off between parameter efficiency and performance effectiveness. Our code and models will be released.

研究动机与目标

• 解决现有提示微调方法在仅限于Transformer架构时效率低下且泛化能力差的问题，同时缺乏参数效率。
• 实现对冻结的CNN和Transformer主干网络在语义分割任务中的高效且通用的微调。
• 通过利用丰富的中间语义表征而非仅依赖最终分类损失，改进提示学习。
• 设计一种适用于高速、嵌入式推理设备的参数高效微调框架。
• 在保持与多种架构兼容性的同时，以极少的可训练参数实现强大性能。

提出的方法

• 该方法将冻结主干网络划分为多个阶段，并在相邻阶段之间插入一个轻量级语义感知提示匹配器（SPM）以实现提示微调。
• SPM利用循环机制，基于前一阶段的中间语义图逐步优化视觉提示。
• SPM通过拼接、1×1卷积和PDC模块融合特征图与语义概率向量，生成优化后的提示。
• SPM充当深度匹配滤波器，将一个阶段的输出转换为下一阶段的最优输入，从而增强知识迁移。
• 该框架可应用于CNN（如ResNet）和Transformer（如ViT），实现跨架构的通用性。
• SPM通过仅使用分割头损失进行端到端训练，无需对主干网络进行结构修改。

实验结果

研究问题

• RQ1 能否在不修改架构的前提下，使提示微调框架在CNN和Transformer架构之间具有通用性？
• RQ2 能否有效利用中间语义图来改进提示学习，超越仅依赖最终分类损失？
• RQ3 分阶段、循环的提示学习机制是否能在性能和参数效率方面优于现有提示微调方法？
• RQ4 与全参数微调和头微调相比，所提出方法是否在显著减少可训练参数的同时保持强性能？
• RQ5 该框架能否有效应用于自然图像、卫星图像和医学图像分割等多样化下游任务？

主要发现

• 在Cityscapes基准上，该方法实现了45.05的mIoU，优于全参数微调（47.53）和其他提示微调方法。
• 在COCO-Stuff数据集上，该方法仅使用176万个可训练参数即达到44.18的mIoU，展现出极高的参数效率。
• 在图像识别任务中，该方法在CIFAR-100上实现了86.62%的Top-1准确率，仅使用100万个可训练参数，优于全参数微调（85.90%）和AdaptFormer（85.90%）。
• 该方法平均将可训练参数数量减少至全参数微调的1.16%，同时在所有基准测试中保持或超越性能。
• SPM框架在不同架构间具有良好的泛化能力，在自然图像、卫星图像和医学图像分割数据集中均取得优异结果。
• 消融实验表明，与黑箱优化相比，使用中间语义图可显著提升提示质量及下游性能。