[论文解读] RMP-SAM: Towards Real-Time Multi-Purpose Segment Anything

Shilin Xu, Haobo Yuan+10 more|arXiv (Cornell University)|Jan 18, 2024

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 RAP-SAM，首个能够通过单一统一架构实现交互式、全景式和视频实例分割的实时多用途分割模型。通过轻量级编码器、带有双适配器的统一解码器以及基于池化的动态卷积，该模型在 COCO 和 YouTube-VIS 基准上实现了最先进的速度-精度权衡，同时保持实时运行性能。

ABSTRACT

Recent segmentation methods, which adopt large-scale data training and transformer architecture, aim to create one foundation model that can perform multiple tasks. However, most of these methods rely on heavy encoder and decoder frameworks, hindering their performance in real-time scenarios. To explore real-time segmentation, recent advancements primarily focus on semantic segmentation within specific environments, such as autonomous driving. However, they often overlook the generalization ability of these models across diverse scenarios. Therefore, to fill this gap, this work explores a novel real-time segmentation setting called real-time multi-purpose segmentation. It contains three fundamental sub-tasks: interactive segmentation, panoptic segmentation, and video instance segmentation. Unlike previous methods, which use a specific design for each task, we aim to use only a single end-to-end model to accomplish all these tasks in real-time. To meet real-time requirements and balance multi-task learning, we present a novel dynamic convolution-based method, Real-Time Multi-Purpose SAM (RMP-SAM). It contains an efficient encoder and an efficient decoupled adapter to perform prompt-driven decoding. Moreover, we further explore different training strategies and one new adapter design to boost co-training performance further. We benchmark several strong baselines by extending existing works to support our multi-purpose segmentation. Extensive experiments demonstrate that RMP-SAM is effective and generalizes well on proposed benchmarks and other specific semantic tasks. Our implementation of RMP-SAM achieves the optimal balance between accuracy and speed for these tasks.Our code and model are available at https://github.com/xushilin1/RAP-SAM/.

研究动机与目标

• 解决缺乏统一图像、视频和交互式分割任务的实时多用途分割模型的问题。
• 开发一个单一模型，在严格推理速度约束下，实现交互式分割、全景分割和视频实例分割的高性能。
• 探索高效架构与训练策略，在不使用级联或重型组件的前提下，平衡多样化分割任务的性能表现。
• 通过优化速度与模型效率，实现基础模型在边缘设备上的实际部署。
• 基于 COCO 和 YouTube-VIS 数据集，通过联合联合训练，建立实时全功能分割的新基准。

提出的方法

• 为交互式、全景式和视频分割三种任务设计统一解码器，共享查询向量，仅通过一次前向传播完成推理。
• 采用轻量级特征提取器与基于池化的动态卷积，替代计算量大的逐像素交叉注意力机制，提升推理速度。
• 引入双适配器设计，平衡交互式与语义级分割任务之间的知识迁移，提升联合训练性能。
• 所有任务共用单一特征金字塔图，避免使用增加延迟的级联解码器结构。
• 在 COCO 和 YouTube-VIS 数据集上采用相同超参数进行联合联合训练，以实现多任务泛化能力。
• 采用大规模抖动（LSJ）数据增强策略，并使用线性预热 + 余弦衰减学习率调度，确保训练稳定性。

实验结果

研究问题

• RQ1 能否通过单一实时模型在交互式、全景式和视频实例分割任务中均实现高性能？
• RQ2 如何通过高效架构设计在多用途分割中平衡精度与速度？
• RQ3 何种训练策略与适配器机制最能促进交互式与语义级分割之间的联合训练？
• RQ4 基于池化的动态卷积能否替代交叉注意力机制，在保持精度的同时提升推理速度？
• RQ5 在实时约束下，带有共享查询的统一解码器在多样化分割任务中的泛化能力如何？

主要发现

• RAP-SAM 在所提出的实时全功能分割基准中，相较所有对比方法实现了最佳的速度-精度权衡。
• 使用 ResNet-50 时，RAP-SAM 在交互式分割任务中达到 58.1 mIoU，在全景分割任务中达到 43.0 PQ，分别优于带适配器的 Mask2Former 1.1 mIoU 和仅低 0.3 PQ。
• 在 YouTube-VIS 2019 数据集上，RAP-SAM 展现出更优的边缘检测能力与视频跟踪一致性，尤其在复杂和密集场景中表现更优。
• 该模型在图像与视频分割任务中均保持高性能，其分割掩码在 COCO 全景分割任务中比 K-Net 更平滑、更准确。
• 失败案例显示，模型在处理高重叠物体与密集实例时存在局限，表明实例核分配机制仍有改进空间。
• 双适配器设计泛化能力出色，可提升包括 Mask2Former 在内的多种模型性能，表明其适用范围不仅限于 RAP-SAM。