[论文解读] PVPUFormer: Probabilistic Visual Prompt Unified Transformer for Interactive Image Segmentation

Xu Zhang, Kailun Yang+4 more|arXiv (Cornell University)|Jun 11, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

该论文提出VPUFormer，一种视觉提示统一Transformer模型，通过高斯映射将点击、框和涂鸦统一为单一密集的1D提示表征，借助双交叉融合注意力机制与提示到像素对比损失（P²CL），实现与图像特征的深度交互。该方法在七个数据集上达到最先进性能，使用多提示输入时，达到85%/90% IoU所需的平均交互次数降低至1.10/1.59。

ABSTRACT

Integration of diverse visual prompts like clicks, scribbles, and boxes in interactive image segmentation significantly facilitates users' interaction as well as improves interaction efficiency. However, existing studies primarily encode the position or pixel regions of prompts without considering the contextual areas around them, resulting in insufficient prompt feedback, which is not conducive to performance acceleration. To tackle this problem, this paper proposes a simple yet effective Probabilistic Visual Prompt Unified Transformer (PVPUFormer) for interactive image segmentation, which allows users to flexibly input diverse visual prompts with the probabilistic prompt encoding and feature post-processing to excavate sufficient and robust prompt features for performance boosting. Specifically, we first propose a Probabilistic Prompt-unified Encoder (PPuE) to generate a unified one-dimensional vector by exploring both prompt and non-prompt contextual information, offering richer feedback cues to accelerate performance improvement. On this basis, we further present a Prompt-to-Pixel Contrastive (P$^2$C) loss to accurately align both prompt and pixel features, bridging the representation gap between them to offer consistent feature representations for mask prediction. Moreover, our approach designs a Dual-cross Merging Attention (DMA) module to implement bidirectional feature interaction between image and prompt features, generating notable features for performance improvement. A comprehensive variety of experiments on several challenging datasets demonstrates that the proposed components achieve consistent improvements, yielding state-of-the-art interactive segmentation performance. Our code is available at https://github.com/XuZhang1211/PVPUFormer.

研究动机与目标

• 为克服单提示交互在交互式图像分割中的局限性，提升用户灵活性与交互效率。
• 解决现有2D提示表征（如距离图、圆盘图）存在的效率低下与特征交互薄弱问题，避免高存储与计算开销。
• 将多样化的视觉提示（点击、框、涂鸦）统一为单一、密集且紧凑的表征，保留空间意图并支持更深层次的跨模态交互。
• 通过新型对比损失对齐提示与像素级特征，提升图像语义特征的精确度，从而提高分割精度。
• 通过支持提示类型间的动态切换，实现在真实应用中灵活的多模态用户交互。

提出的方法

• 提示统一编码器（PuE）基于高斯分布的水平与垂直投影，将每个视觉提示映射为1D向量，生成密集、紧凑且富含空间信息的表征。
• 统一的提示表征作为查询注入双交叉融合注意力（DMA）模块，实现图像与提示特征之间深层次的双向特征交互。
• 引入提示到像素对比损失（P²CL），通过最大化与用户提示相似的图像特征相似度，同时最小化与不相似特征的相似度，实现候选语义特征的精细化优化。
• 通过用1D向量替代磁盘图/距离图等2D稀疏表征，避免高存储与计算开销，降低系统资源消耗。
• 框架支持多提示输入（如点击+框+涂鸦），且无需架构修改，实现灵活的用户交互。
• 模型采用交叉熵与P²CL联合端到端训练，支持基于用户反馈的迭代预测优化。

实验结果

研究问题

• RQ1 统一的、密集的1D表征能否有效编码多样化视觉提示（点击、框、涂鸦），同时保留空间意图并降低计算成本？
• RQ2 通过注意力机制实现图像与提示特征的深层交互，是否显著优于简单的拼接操作，从而提升分割精度？
• RQ3 基于对比学习的损失（P²CL）能否有效对齐用户提示特征与图像语义特征，提升特征对齐度与预测一致性？
• RQ4 多提示交互（如点击+框+涂鸦）相较于单提示交互，在交互效率与分割精度方面表现如何？
• RQ5 所提方法在具有不同数据分布的多样化数据集上，其泛化能力如何？

主要发现

• VPUFormer在七个基准数据集（包括Berkeley、DAVIS和SBD）上均达到最先进性能，所有设置下均实现一致提升。
• 在使用全部三种提示类型（点击+框+涂鸦）时，达到85% IoU的平均交互次数降低至1.10，达到90% IoU时为1.59，显著优于单提示基线方法。
• 仅使用点击提示时IoU最低（达到85% IoU需1.38次交互），而结合所有提示类型可显著减少交互次数并提升精度。
• 提示到像素对比损失（P²CL）显著改善了特征对齐效果，降低与真实标签的偏差，并增强对模糊输入的鲁棒性。
• 通过PuE实现的统一1D提示表征相比基于2D图的方法，显著降低存储与计算开销，同时保持或提升性能。
• 模型在多样化数据集上泛化能力良好，但在无领域特定微调的医学图像上性能下降，表明在开放集场景下仍需适应性改进。