[论文解读] Segment Anything in Medical Images

Jun Ma, Yuting He+4 more|arXiv (Cornell University)|Apr 24, 2023

Radiomics and Machine Learning in Medical Imaging参考文献 41被引用 87

一句话总结

MedSAM 是第一个面向通用医学影像分割的基础模型，在超过一百万个影像-掩码对上进行训练，在多任务上超越先前的分割基础模型并可媲美专业模型，同时实现对肿瘤负担的精确量化。

ABSTRACT

Medical image segmentation is a critical component in clinical practice, facilitating accurate diagnosis, treatment planning, and disease monitoring. However, existing methods, often tailored to specific modalities or disease types, lack generalizability across the diverse spectrum of medical image segmentation tasks. Here we present MedSAM, a foundation model designed for bridging this gap by enabling universal medical image segmentation. The model is developed on a large-scale medical image dataset with 1,570,263 image-mask pairs, covering 10 imaging modalities and over 30 cancer types. We conduct a comprehensive evaluation on 86 internal validation tasks and 60 external validation tasks, demonstrating better accuracy and robustness than modality-wise specialist models. By delivering accurate and efficient segmentation across a wide spectrum of tasks, MedSAM holds significant potential to expedite the evolution of diagnostic tools and the personalization of treatment plans.

研究动机与目标

• 证明需要一个具有跨模态和跨任务广泛泛化能力的通用医学影像分割模型
• 通过将 Segment Anything Model (SAM) 应用于大规模医疗数据集来开发 MedSAM
• 在内部和外部任务上将 MedSAM 与最先进的分割基础模型和专业模型进行对比评估
• 展示 MedSAM 在准确量化肿瘤负荷方面的能力，并与专家表现进行比较

提出的方法

• 使用基于 ViT 的图像编码器对 SAM 架构进行适配，包括图像编码器、提示编码器和掩码解码器
• 在 1,090,486 例医学影像-掩码对，涵盖 15 种模态和 30+ 种癌症类型进行训练
• 使用边界框提示；用带扰动的真实掩码来模拟训练中的提示
• 先用遮蔽自编码器进行预训练，然后在 SAM 数据集上进行完全监督；在固定提示编码器的同时对图像编码器和掩码解码器进行微调
• 使用 AdamW 作为优化器，结合 Dice 和交叉熵损失作为最终损失；在 20 台 A100 GPU 上训练 100 轮

实验结果

研究问题

• RQ1 是否可以训练出一个单一的基础模型，以在多样的医学影像模态和分割任务上实现泛化
• RQ2 在内部验证任务中，MedSAM 与 SAM 及专业的 U-Net 模型相比具有怎样的表现
• RQ3 MedSAM 对外部验证数据集和未见任务/模态的泛化能力如何
• RQ4 MedSAM 是否能够在多种癌症中实现对肿瘤负荷的准确量化
• RQ5 在特定任务上，MedSAM 的分割性能与人类专家相比如何

主要发现

• MedSAM 在多任务上超越了最先进的分割基础模型，并在许多任务上与专业模型并驾齐驱甚至超过
• 在内部验证中，MedSAM 在关键任务上实现了高中位 Dice 分数（如颅内出血 CT、胶质瘤 MR T1、气胸 CXR、息肉内镜等），并且优于 SAM 和许多 U-Net 基线
• 外部验证显示 MedSAM 在未见数据集和模态上仍保持优越表现，并显著优于 SAM 和专业模型
• MedSAM 能实现对肿瘤负荷的精确量化，在选定癌症的 MedSAM 镜像体积与专家体积之间的皮尔逊相关系数为 r=0.99
• 在前列腺 MR 分割任务中，MedSAM 的表现达到或超过六位人类专家，体现了临床竞争力