[论文解读] SimpleClick: Interactive Image Segmentation with Simple Vision Transformers

Qin Liu, Zhenlin Xu+2 more|arXiv (Cornell University)|Oct 20, 2022

Visual Attention and Saliency Detection被引用 9

一句话总结

SimpleClick 首次提出一种使用普通视觉Transformer（ViT）主干网络的交互式图像分割方法，摒弃了层级化架构。通过利用掩码自编码器预训练的ViT和对称的图像块嵌入层来编码点击操作，该方法在SBD基准上实现了4.15 NoC@90的最先进性能，相比之前的方法提升了21.8%，同时保持了适合实际标注工具的计算效率。

ABSTRACT

Click-based interactive image segmentation aims at extracting objects with a limited user clicking. A hierarchical backbone is the de-facto architecture for current methods. Recently, the plain, non-hierarchical Vision Transformer (ViT) has emerged as a competitive backbone for dense prediction tasks. This design allows the original ViT to be a foundation model that can be finetuned for downstream tasks without redesigning a hierarchical backbone for pretraining. Although this design is simple and has been proven effective, it has not yet been explored for interactive image segmentation. To fill this gap, we propose SimpleClick, the first interactive segmentation method that leverages a plain backbone. Based on the plain backbone, we introduce a symmetric patch embedding layer that encodes clicks into the backbone with minor modifications to the backbone itself. With the plain backbone pretrained as a masked autoencoder (MAE), SimpleClick achieves state-of-the-art performance. Remarkably, our method achieves 4.15 NoC@90 on SBD, improving 21.8% over the previous best result. Extensive evaluation on medical images demonstrates the generalizability of our method. We further develop an extremely tiny ViT backbone for SimpleClick and provide a detailed computational analysis, highlighting its suitability as a practical annotation tool.

研究动机与目标

• 探索普通非层级视觉Transformer作为交互式图像分割主干网络的可行性，挑战层级架构的主导地位。
• 实现从通用的、掩码自编码器预训练的ViT到交互式分割任务的迁移学习，无需重新设计特定任务的主干网络。
• 开发一种计算高效的模型，满足实际标注需求，尤其适用于医学影像和低资源场景。
• 证明仅基于普通ViT最后一层特征图构建的简单特征金字塔即可实现高质量分割。
• 为未来基于基础模型的交互式分割方法建立强有力的基线。

提出的方法

• 采用普通视觉Transformer主干网络，使用单尺度特征图，避免使用以往方法中常见的层级结构和特征金字塔网络（FPN）。
• 引入对称的图像块嵌入层，将用户点击直接编码进ViT主干网络，仅做最小的架构修改。
• 采用掩码自编码器（MAE）对ViT主干网络在大规模数据集上进行预训练，实现强大特征表示的迁移。
• 仅使用ViT主干网络的最后一层特征图构建简单特征金字塔，将通用特征学习与分割专用模块解耦。
• 应用轻量级MLP解码器将特征金字塔转换为分割掩码，降低计算成本。
• 对整个模型（包括主干网络）进行端到端微调，以最大化性能。

实验结果

研究问题

• RQ1 在不进行架构修改的前提下，普通视觉Transformer主干网络能否在交互式图像分割中超越层级主干网络？
• RQ2 通过掩码自编码方式预训练的普通ViT能否有效迁移到交互式分割任务中？
• RQ3 仅基于单尺度特征图构建的简单特征金字塔能否达到或超越多尺度或FPN类设计的性能？
• RQ4 所提出的方法在计算效率上是否足够高，可作为实际应用中的实用标注工具？
• RQ5 该方法在不同领域（尤其是医学影像数据集）上的泛化能力如何？

主要发现

• SimpleClick 在SBD基准上达到4.15 NoC@90，相比之前最先进方法提升21.8%。
• 该方法在自然图像和医学图像基准上均优于所有基于层级主干网络的先前方法，展现出强大的泛化能力。
• 微调阶段冻结ViT主干网络会导致性能显著下降，表明微调主干网络对获得最佳结果至关重要。
• 特征金字塔的多尺度特性至关重要；即使仅使用最后一层特征图，若去除多尺度设计，性能仍会大幅下降。
• 最小模型变体（ViT-xT）每点击推理速度达17ms，仅消耗0.17GB GPU显存，适合实时标注。
• 即使最大模型变体（ViT-H）的推理时间也仅为132ms，显存占用3.22GB，仍处于交互式工具的实际可接受范围内。