[论文解读] Zero-shot performance of the Segment Anything Model (SAM) in 2D medical imaging: A comprehensive evaluation and practical guidelines

Christian Mattjie, Luís Vinícius de Moura+5 more|arXiv (Cornell University)|Apr 28, 2023

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

该论文评估了分割一切模型（SAM）在四种模态（X光、超声、皮肤镜、结肠镜）的六组2D医学影像中的零样本性能。提出了一种实用且交互最少的提示框架——从边界框提示开始，再通过点提示进行优化——在极少用户输入下实现了最先进或更优的结果，展示了SAM在无需微调情况下的强大泛化能力与临床实用性。

ABSTRACT

Segmentation in medical imaging is a critical component for the diagnosis, monitoring, and treatment of various diseases and medical conditions. Presently, the medical segmentation landscape is dominated by numerous specialized deep learning models, each fine-tuned for specific segmentation tasks and image modalities. The recently-introduced Segment Anything Model (SAM) employs the ViT neural architecture and harnesses a massive training dataset to segment nearly any object; however, its suitability to the medical domain has not yet been investigated. In this study, we explore the zero-shot performance of SAM in medical imaging by implementing eight distinct prompt strategies across six datasets from four imaging modalities, including X-ray, ultrasound, dermatoscopy, and colonoscopy. Our findings reveal that SAM's zero-shot performance is not only comparable to, but in certain cases, surpasses the current state-of-the-art. Based on these results, we propose practical guidelines that require minimal interaction while consistently yielding robust outcomes across all assessed contexts. The source code, along with a demonstration of the recommended guidelines, can be accessed at https://github.com/Malta-Lab/SAM-zero-shot-in-Medical-Imaging.

研究动机与目标

• 评估分割一切模型（SAM）在多样化2D医学影像模态中的零样本泛化能力。
• 识别在最小用户交互下实现最高分割准确率的有效提示策略。
• 为临床医生提供可操作、切实可行的指南，以在临床工作流中应用SAM。
• 评估SAM是否能在不进行微调的情况下超越或匹配现有最先进模型。
• 探究SAM生成的掩码在提升真实标注质量和效率方面的潜力。

提出的方法

• 本研究在六组医学影像数据集上采用八种不同的提示策略（边界框、多点提示及其组合）。
• SAM以原始ViT架构和预训练权重进行零样本推理，未在医学数据上进行任何微调。
• 使用Dice、IoU和DSC等标准指标在所有数据集和提示策略下评估分割性能。
• 所提出的框架从边界框提示开始，选择最佳预测结果，并通过点提示（正样本或负样本）进行优化以纠正错误。
• 该方法利用SAM的高容量视觉Transformer模型，为每个提示生成多个候选掩码，从而选择最准确的输出。
• 已发布演示和源代码，以支持所提出工作流程的可复现性与临床集成。

Figure 1: Samples from each of the six datasets used in this study. A: ISIC, B: HAM, C: CXR, D: HJXR, E: CVC, F: BUSI.

实验结果

研究问题

• RQ1 SAM是否能在不进行任何微调的情况下，在2D医学影像中实现具有竞争力或更优的分割性能？
• RQ2 在不同医学影像模态中，边界框、点提示或混合提示策略中，哪种能产生最鲁棒且最准确的结果？
• RQ3 SAM的零样本性能与专为医学分割任务训练的最先进模型相比如何？
• RQ4 SAM生成的掩码在多大程度上能提升人工真实标注的质量与效率？
• RQ5 最小交互提示框架是否能在不同临床影像场景中持续生成高质量分割结果？

主要发现

• SAM在BUSI数据集上实现了最先进性能，且在未进行任何微调的情况下显著优于现有方法。
• 该模型在X光、超声、皮肤镜和结肠镜四种不同医学影像模态中均展现出强大的零样本泛化能力。
• 所提出的提示框架——从边界框开始并用点提示进行优化——在极少用户交互下持续生成高质量分割结果。
• 在某些情况下，SAM的预测结果比真实标注更准确，表明其在提升人工标注质量和效率方面具有潜力。
• 所有三种SAM ViT尺寸（小、基线、大）表现相近，使从业者可根据计算资源限制进行选择。
• 该框架使临床医生仅通过选择最佳预测结果并使用少量点提示进行优化，即可实现高精度分割，证明了其临床可行性。

Figure 2: Example of all prompt strategies on a skin lesion image and mask. (A): original image, (B): CP, (C): RP, (D): RP3, (E): RP5, (F): BB in green, BBS5 in red, BBS10 in blue, and BBS20 in yellow. The size and position shown are their max variation for BBS methods.