[论文解读] Relax Image-Specific Prompt Requirement in SAM: A Single Generic Prompt for Segmenting Camouflaged Objects

Jian Hu, Jiayi Lin+2 more|arXiv (Cornell University)|Dec 12, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出通用SAM（GenSAM），一种测试时自适应框架，可消除在弱监督伪装目标检测中对图像特定提示的需求。通过采用跨模态思维链提示（CCTP）和渐进式掩码生成（PMG），GenSAM能从单一通用文本提示自动生成准确的视觉提示，性能与涂抹标注相当，且无需微调或额外训练。

ABSTRACT

Camouflaged object detection (COD) approaches heavily rely on pixel-level annotated datasets. Weakly-supervised COD (WSCOD) approaches use sparse annotations like scribbles or points to reduce annotation effort, but this can lead to decreased accuracy. The Segment Anything Model (SAM) shows remarkable segmentation ability with sparse prompts like points. However, manual prompt is not always feasible, as it may not be accessible in real-world application. Additionally, it only provides localization information instead of semantic one, which can intrinsically cause ambiguity in interpreting the targets. In this work, we aim to eliminate the need for manual prompt. The key idea is to employ Cross-modal Chains of Thought Prompting (CCTP) to reason visual prompts using the semantic information given by a generic text prompt. To that end, we introduce a test-time adaptation per-instance mechanism called Generalizable SAM (GenSAM) to automatically enerate and optimize visual prompts the generic task prompt for WSCOD. In particular, CCTP maps a single generic text prompt onto image-specific consensus foreground and background heatmaps using vision-language models, acquiring reliable visual prompts. Moreover, to test-time adapt the visual prompts, we further propose Progressive Mask Generation (PMG) to iteratively reweight the input image, guiding the model to focus on the targets in a coarse-to-fine manner. Crucially, all network parameters are fixed, avoiding the need for additional training. Experiments demonstrate the superiority of GenSAM. Experiments on three benchmarks demonstrate that GenSAM outperforms point supervision approaches and achieves comparable results to scribble supervision ones, solely relying on general task descriptions as prompts. our codes is in: https://lwpyh.github.io/GenSAM/.

研究动机与目标

• 解决在弱监督伪装目标检测（WSCOD）中，SAM对人工图像特定提示的依赖问题，该问题在实际场景中不切实际。
• 通过用单一通用任务描述替代稀疏标注（如点或涂抹），减轻标注负担。
• 消除因空间提示（如点）缺乏语义上下文而导致的提示理解歧义。
• 实现在推理时无需模型微调的、实例级的自动视觉提示生成。
• 仅使用通用文本提示，实现与涂抹标注相当的高分割精度。

提出的方法

• 引入跨模态思维链提示（CCTP），利用视觉-语言模型（BLIP2和CLIP）从通用文本提示生成多个语义关键词。
• 采用新颖的k-k-v自注意力机制，将不同思维链生成的关键词融合为共识的前景与背景热力图，解决单一思维链带来的歧义。
• 应用渐进式掩码生成（PMG），通过共识热力图迭代重加权输入图像，引导SAM以粗到精的方式聚焦于目标。
• 推理过程中固定所有网络参数，实现无需微调或额外训练的测试时自适应。
• 通过上采样与阈值处理，将最终共识热力图转换为点提示，确保与SAM提示接口的兼容性。
• 评估多种提示生成策略（如MaxIOUBox），以优化迭代过程中的掩码一致性。

实验结果

研究问题

• RQ1 单一通用文本提示能否在不降低性能的前提下，替代SAM中用于伪装目标分割的图像特定提示？
• RQ2 如何有效将通用提示中的语义信息映射到图像特定的视觉提示，以解决定位中的歧义？
• RQ3 在不进行模型微调的情况下，通过迭代优化的测试时自适应能在多大程度上提升分割精度？
• RQ4 思维链提示中链的数量如何影响共识热力图的质量与最终分割性能？
• RQ5 所提方法是否可泛化至伪装目标检测以外的其他分割任务？

主要发现

• 在S-COD数据集上，GenSAM的平均绝对误差（MAE）为0.025，优于基于点的监督方法，且与基于涂抹的方法相当。
• 在CHAMELEON数据集上，GenSAM的Fβ分数达到0.806，显著优于CLIP Surgery+SAM（0.689）和SAM-P（0.712）。
• 使用共识热力图作为视觉提示，性能优于基线方法CLIP Surgery+SAM，ETIS上MAE从0.537降低至0.205，用于息肉分割。
• 渐进式掩码生成（PMG）在前6次迭代中表现出显著性能提升，此后改进微乎其微，验证了6次迭代为最优选择。
• 在CCTP中使用k-k-v自注意力机制相比v-v-v自注意力机制表现更优，替换后Fβ下降0.027。
• MaxIOUBox在消融实验中优于其他框提示生成策略，实现了最高的Fβ与Sα分数。