[论文解读] Towards Segment Anything Model (SAM) for Medical Image Segmentation: A Survey

Yichi Zhang, Rushi Jiao|arXiv (Cornell University)|May 5, 2023

Radiomics and Machine Learning in Medical Imaging被引用 17

一句话总结

本综述分析 SAM 在医学图像分割中的表现，回顾适配/微调方法，并讨论医学基础模型在分割领域的挑战与未来方向。

ABSTRACT

Due to the flexibility of prompting, foundation models have become the dominant force in the domains of natural language processing and image generation. With the recent introduction of the Segment Anything Model (SAM), the prompt-driven paradigm has entered the realm of image segmentation, bringing with a range of previously unexplored capabilities. However, it remains unclear whether it can be applicable to medical image segmentation due to the significant differences between natural images and medical images.In this work, we summarize recent efforts to extend the success of SAM to medical image segmentation tasks, including both empirical benchmarking and methodological adaptations, and discuss potential future directions for SAM in medical image segmentation. Although directly applying SAM to medical image segmentation cannot obtain satisfying performance on multi-modal and multi-target medical datasets, many insights are drawn to guide future research to develop foundation models for medical image analysis. To facilitate future research, we maintain an active repository that contains up-to-date paper list and open-source project summary at https://github.com/YichiZhang98/SAM4MIS.

研究动机与目标

• 评估 SAM 在多样化医学成像任务中的零-shot 与少-shot 能力。
• 综述 SAM 在医学图像分割的模态和任务中的经验结果。
• 总结用于将 SAM 适配和微调到医学数据的方法。
• 讨论医学成像中 SAM 的挑战、知识差距与未来方向。

提出的方法

• 解释 SAM 架构，包括图像编码器、提示编码器和掩模解码器。
• 将文献分为对医学成像的评估研究与适配方法。
• 总结对 SAM 的选择性部分进行微调的策略（如掩模解码器、适配器、LoRA）。
• 描述将 SAM 扩展到 3D 医学数据和多模态输入的方法。
• 强调自动提示生成与提示鲁棒性技术，以提升医学分割。
• 引用像 MedSAM、MSA、DeSAM 和 AutoSAM 这样的领域特定适配。

实验结果

研究问题

• RQ1 SAM 是否能在跨模态和跨目标的医学图像上提供可靠的零-shot 分割？
• RQ2 SAM 能否被有效地适配或微调以用于医学图像分割，超过领域特定模型？
• RQ3 哪种提示模式和架构调整在医学背景下能获得最佳性能？
• RQ4 在利用 SAM 进行医学分割的同时，降低标注成本的实际策略有哪些？
• RQ5 为实现稳健的基于 SAM 的医学分割，未来方向和数据需求有哪些？

主要发现

• 直接将 SAM 应用于医学图像在数据集和任务上表现不一。
• 对 SAM 的选定组件进行微调或适配可获得有竞争力的结果，但仍可能落后于专门模型。
• 在若干医学数据集中，框提示通常优于点提示，尽管结果因任务而异。
• 有前景的做法包括领域感知适配器、3D 扩展和多模态提示以提升鲁棒性。
• 利用 SAM 的自动提示生成和输入增强可以帮助提升下游分割模型。