[论文解读] ProMISe: Promptable Medical Image Segmentation using SAM

Jinfeng Wang, Sifan Song+5 more|arXiv (Cornell University)|Mar 7, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用 3

一句话总结

本文提出 ProMISe，一种基于 Segment Anything Model (SAM) 的非微调框架，用于可提示的医学图像分割。通过引入用于自适应欧几里得提示生成的自动提示模块（APM），以及通过增量式模式迁移（IPS）非侵入式地适应 SAM 的掩码解码器，ProMISe 在保持所有 SAM 参数冻结的同时，在多个医学影像基准上实现了最先进性能，显著降低了训练成本，并保留了提示的可解释性。

ABSTRACT

With the proposal of the Segment Anything Model (SAM), fine-tuning SAM for medical image segmentation (MIS) has become popular. However, due to the large size of the SAM model and the significant domain gap between natural and medical images, fine-tuning-based strategies are costly with potential risk of instability, feature damage and catastrophic forgetting. Furthermore, some methods of transferring SAM to a domain-specific MIS through fine-tuning strategies disable the model's prompting capability, severely limiting its utilization scenarios. In this paper, we propose an Auto-Prompting Module (APM), which provides SAM-based foundation model with Euclidean adaptive prompts in the target domain. Our experiments demonstrate that such adaptive prompts significantly improve SAM's non-fine-tuned performance in MIS. In addition, we propose a novel non-invasive method called Incremental Pattern Shifting (IPS) to adapt SAM to specific medical domains. Experimental results show that the IPS enables SAM to achieve state-of-the-art or competitive performance in MIS without the need for fine-tuning. By coupling these two methods, we propose ProMISe, an end-to-end non-fine-tuned framework for Promptable Medical Image Segmentation. Our experiments demonstrate that both using our methods individually or in combination achieves satisfactory performance in low-cost pattern shifting, with all of SAM's parameters frozen.

研究动机与目标

• 为解决将像 SAM 这类大型基础模型微调用于医学图像分割（MIS）时存在的高成本与不稳定性问题。
• 在实现对医学领域适应的同时，保留 SAM 的交互式提示能力，且领域偏移有限。
• 开发一种轻量级、非侵入式的领域自适应方法，避免灾难性遗忘与特征损伤。
• 实现在无需微调的前提下端到端的模式迁移，同时保持临床部署中的可解释性与高效性。

提出的方法

• 自动提示模块（APM）利用 SAM 图像编码器的特征，在目标领域中生成自适应的欧几里得提示，从而在不微调的情况下提升零样本性能。
• 增量式模式迁移（IPS）引入可学习标记，以迁移 SAM 掩码解码器中的先验模式知识，使其适应医学图像特征。
• 模式嵌入（PaE）模块用于识别源域（自然图像）与目标域（医学图像）之间的领域差异，以指导有效的模式迁移。
• IPS 通过将可学习标记注入掩码解码器的输出标记中实现，从而在不修改 SAM 原始参数的前提下实现非侵入式自适应。
• ProMISe 框架结合 APM 与 IPS，实现端到端的非微调模式迁移，同时保持完整的提示能力。
• 所有实验均在冻结所有 SAM 参数的前提下进行，仅在 IPS 模块中引入 130 万个可训练参数。

实验结果

研究问题

• RQ1 自适应提示生成是否能在不微调的情况下提升 SAM 在医学图像分割中的零样本性能？
• RQ2 在掩码解码器中进行非侵入式模式迁移，是否能在保留 SAM 提示能力的同时实现医学图像分割的最先进性能？
• RQ3 是否仅通过少量可学习参数即可实现医学影像中的有效领域自适应，而无需微调主模型？
• RQ4 与基于微调的方法相比，自适应提示与增量式模式迁移的组合在性能与稳定性方面表现如何？
• RQ5 所提出方法是否能在多种医学影像模态与数据集上实现良好泛化？

主要发现

• ProMISe 同时采用 APM 与 IPS，在 Kvasir、EndoScene、ColonDB、ETIS 和 ISIC2018 基准上实现了最先进性能，仅使用 130 万个可训练参数。
• 以 SSFormer 作为基线，IPS 在不微调的情况下使 ColonDB 上的 mDice 提升最高达 10%，ETIS 上提升 7%。
• 消融研究证实 PaE 模块对 IPS 性能至关重要，完整配置（PaE + IPS 标记）在 Kvasir 上达到 0.911 的 mDice。
• 即使仅使用 IPS 标记（无 PaE），性能仍显著提升（Kvasir 上 mDice 为 0.862），表明该方法具备强鲁棒性与灵活性。
• 通过欧几里得提示保持了完整的可解释性，并避免了灾难性遗忘，因为所有 SAM 参数均保持冻结。
• 增量式模式迁移在提示点数量增加时带来显著性能提升，表明其有潜力扩展至粗粒度提示（如涂鸦或草图）。