[论文解读] SAMM (Segment Any Medical Model): A 3D Slicer Integration to SAM

Yihao Liu, Jiaming Zhang+3 more|arXiv (Cornell University)|Apr 12, 2023

Radiomics and Machine Learning in Medical Imaging被引用 23

一句话总结

SAMM 将 Segment Anything Model (SAM) 与 3D Slicer 集成，以实现实时、基于提示的医用影像分割，分割循环的端到端延迟约为 0.6 秒。

ABSTRACT

The Segment Anything Model (SAM) is a new image segmentation tool trained with the largest available segmentation dataset. The model has demonstrated that, with prompts, it can create high-quality masks for general images. However, the performance of the model on medical images requires further validation. To assist with the development, assessment, and application of SAM on medical images, we introduce Segment Any Medical Model (SAMM), an extension of SAM on 3D Slicer - an image processing and visualization software extensively used by the medical imaging community. This open-source extension to 3D Slicer and its demonstrations are posted on GitHub (https://github.com/bingogome/samm). SAMM achieves 0.6-second latency of a complete cycle and can infer image masks in nearly real-time.

研究动机与目标

• 促使在医学影像领域应用通用分割模型（SAM）。
• 在 3D Slicer 中开发一个开源集成（SAMM），以便在无需微调的情况下实现医学影像分割。
• 通过基于提示的工作流实现实时或近实时的交互式分割。

提出的方法

• 创建带有 SAM Server 的 SAMM 架构以及一个 3D Slicer 交互式提示插件（Slicer-IPP）。
• 对图像切片的嵌入进行预计算并存储，以在不同提示下实现快速、实时的掩膜推断。
• 使用 ZeroMQ 和 NumPy 内存映射实现 Slicer-IPP 与 SAM Server 之间的高性能异步通信。
• 在 Slicer-IPP 内处理 3D 到 2D 的坐标变换（RAS/IJK），以确保掩膜的正确放置与可视化。
• 以 60 ms 的循环运行五个并行任务（SND_INF, RCV_INF, CPL_INF, RCV_MSK, APL_MSK），以维持实时响应。
• 展示跨模态的适用性（CT、MRI、US）以及基于提示的对医学体积的分割。

Figure 1: Overall architecture of the integration of 3D Slicer and SAM. Images from different modalities, such as computed tomography (CT), magnetic resonance imaging (MRI), or ultrasound (US), are contained in a scalar volume node. The node (vtkMRMLScalarVolumeNode) is a class in the Visualization

实验结果

研究问题

• RQ1 在 3D Slicer 工作流中，SAMM 是否能够实现对医学影像的实时或近实时分割？
• RQ2 嵌入预计算如何影响医学影像分割任务的端到端延迟？
• RQ3 在 SAMM 框架内，SAM 能否对常见医学影像模态（CT、MRI、US）进行零-shot 分割？
• RQ4 在分割循环中，SAMM 的初始化阶段与稳定阶段的延迟分解及稳定性如何？

主要发现

• 在嵌入初始化后，测试 MRI 数据集的每个分割循环端到端延迟为 0.612 秒。
• 在测试环境中，352×352×240 的 MRI 图像的嵌入计算耗时 162.9 秒。
• SAMM 能够在 CT、MRI、US 格式上对零-shot 任务生成分割掩膜。
• SAMM 以五个并行任务运行，并通过 ZMQ 和 NumPy 内存映射实现实时通信。
• 该集成是开源的，并在 3D Slicer 内演示，以促进医学影像分割研究。
• 初始化阶段显示出不稳定性，通常在约 5 秒后稳定。

Figure 2: The affiliation of five tasks, namely are “send inference request” (SND_ INF), “receive inference request” (RCV_ INF), “complete SAM inference” (CPL_ INF), “receive mask transmission” (RCV_ MSK), and “apply mask” (APL_ MSK). Slicer-IPP and SAM Server use ZMQ/Numpy memory mapping package to