[论文解读] Segment Anything Model for Medical Images?

Yuhao Huang, Xin Yang+17 more|PubMed|Apr 28, 2023

Advanced Neural Network Applications被引用 40

一句话总结

本研究评估 Segment Anything Model (SAM) 在大规模多模态 COSMOS 1050K 数据集上对医用图像分割的泛化能力，并分析提示策略、模型规模和微调效应。

ABSTRACT

The Segment Anything Model (SAM) is the first foundation model for general image segmentation. It has achieved impressive results on various natural image segmentation tasks. However, medical image segmentation (MIS) is more challenging because of the complex modalities, fine anatomical structures, uncertain and complex object boundaries, and wide-range object scales. To fully validate SAM's performance on medical data, we collected and sorted 53 open-source datasets and built a large medical segmentation dataset with 18 modalities, 84 objects, 125 object-modality paired targets, 1050K 2D images, and 6033K masks. We comprehensively analyzed different models and strategies on the so-called COSMOS 1050K dataset. Our findings mainly include the following: (1) SAM showed remarkable performance in some specific objects but was unstable, imperfect, or even totally failed in other situations. (2) SAM with the large ViT-H showed better overall performance than that with the small ViT-B. (3) SAM performed better with manual hints, especially box, than the Everything mode. (4) SAM could help human annotation with high labeling quality and less time. (5) SAM was sensitive to the randomness in the center point and tight box prompts, and may suffer from a serious performance drop. (6) SAM performed better than interactive methods with one or a few points, but will be outpaced as the number of points increases. (7) SAM's performance correlated to different factors, including boundary complexity, intensity differences, etc. (8) Finetuning the SAM on specific medical tasks could improve its average DICE performance by 4.39% and 6.68% for ViT-B and ViT-H, respectively. Codes and models are available at: https://github.com/yuhoo0302/Segment-Anything-Model-for-Medical-Images. We hope that this comprehensive report can help researchers explore the potential of SAM applications in MIS, and guide how to appropriately use and develop SAM.

研究动机与目标

• 评估 SAM 在大规模、多样化医用图像数据集上的零-shot 与基于提示的分割性能。
• 识别影响 SAM 在医用对象上表现的因素，包括模态、边界复杂度和强度差异。
• 评估不同提示（点、框）和模型规模（ViT-B vs ViT-H）对 MIS 分割质量的影响。
• 研究对医用任务微调 SAM 的好处及其对不同模态 Dice 分数的影响。
• 为使用和开发 SAM 进行医用图像分割（MIS）提供指南。

提出的方法

• 通过聚合 53 个公开 MIS 数据集，跨 18 种模态和 84 个对象，构建 COSMOS 1050K，并包含 6 个对象-模态目标。
• 对 2D/3D 数据进行预处理，获得用于 SAM 评估的标准化 PNG 切片和 6033K 掩模。
• 在统一的点/框选择策略下，评估 SAM 的 Everything 模式与六种人工提示模式（1 点、5 点、5 正 + 5 负、一个框、一个框 + 1 点）。
• 比较两种 SAM 骨干网络（ViT-B 和 ViT-H），以评估尺寸相关的性能与稳定性。
• 应用掩模匹配评估（在预测掩模中取得最佳 Dice 得分），使 SAM 输出与逐对象的 ground truth 对齐。
• 通过在多策略测试中嵌入重用来减少冗余计算，报告推理效率的提升。

实验结果

研究问题

• RQ1 SAM 在 COSMOS 1050K 的广泛模态和对象范围内对医用图像的表现如何？
• RQ2 不同提示（点 vs 框）和模型尺寸（ViT-B vs ViT-H）如何影响 MIS 的分割质量？
• RQ3 对 SAM 进行医疗数据微调是否能提升各对象和模态的平均 Dice 得分？
• RQ4 哪些对象和图像特征对 SAM 的分割性能影响最大（如边界复杂度、强度差异、尺寸）？

主要发现

• 在 MIS 中，SAM 对某些对象表现强劲，但对其他对象不稳定或失效。
• ViT-H 在总体表现上通常优于 ViT-B，尤其在更多提示情况下。
• 人工提示（尤其是框提示）在 MIS 任务中比 Everything 模式获得更好结果。
• SAM 能在人工标注中提供更高的标注质量和更短的时间。
• 对医用任务进行微调可使平均 Dice 分数分别提升 4.39%（ViT-B）和 6.68%（ViT-H）。
• SAM 的性能对中心点随机性和紧框提示敏感，在这些条件下可能出现显著下降。