[论文解读] SAM-Med2D

Junlong Cheng, Jin Ye+13 more|arXiv (Cornell University)|Aug 30, 2023

Radiomics and Machine Learning in Medical Imaging被引用 17

一句话总结

SAM-Med2D 通过大规模领域特定微调将 Segment Anything Model 适配医学二维图像，支持多提示交互分割，在跨模态和器官上的泛化能力很强。

ABSTRACT

The Segment Anything Model (SAM) represents a state-of-the-art research advancement in natural image segmentation, achieving impressive results with input prompts such as points and bounding boxes. However, our evaluation and recent research indicate that directly applying the pretrained SAM to medical image segmentation does not yield satisfactory performance. This limitation primarily arises from significant domain gap between natural images and medical images. To bridge this gap, we introduce SAM-Med2D, the most comprehensive studies on applying SAM to medical 2D images. Specifically, we first collect and curate approximately 4.6M images and 19.7M masks from public and private datasets, constructing a large-scale medical image segmentation dataset encompassing various modalities and objects. Then, we comprehensively fine-tune SAM on this dataset and turn it into SAM-Med2D. Unlike previous methods that only adopt bounding box or point prompts as interactive segmentation approach, we adapt SAM to medical image segmentation through more comprehensive prompts involving bounding boxes, points, and masks. We additionally fine-tune the encoder and decoder of the original SAM to obtain a well-performed SAM-Med2D, leading to the most comprehensive fine-tuning strategies to date. Finally, we conducted a comprehensive evaluation and analysis to investigate the performance of SAM-Med2D in medical image segmentation across various modalities, anatomical structures, and organs. Concurrently, we validated the generalization capability of SAM-Med2D on 9 datasets from MICCAI 2023 challenge. Overall, our approach demonstrated significantly superior performance and generalization capability compared to SAM.

研究动机与目标

• 通过将自然图像的 SAM 与医学图像分割领域知识结合来弥合差距。
• 创建一个大规模、多样的医学图像分割数据集，以训练和微调 SAM 以用于医学任务。
• 为医学影像开发全面的提示支持（点、框和掩模）以及基于适配器的微调。
• 在多种模态和解剖结构上评估 SAM-Med2D，并在 MICCAI 2023 数据集上测试泛化能力。

提出的方法

• 从公开/私有来源组装并预处理约 4.6M 张医学图像，含 1.97M 个掩模，覆盖 10 种模态和 31 个器官。
• 冻结图像编码器，在每个 Transformer 块中插入可训练的适配器，以学习医学领域知识。
• 微调点、框和掩模的提示编码器，并用模拟的交互分割训练掩模解码器。
• 使用密集和稀疏提示，每个提示预测多个掩模，并在反向传播中通过 IoU 基于选择来计算损失。
• 在每个批次中模拟九步交互式分割，在前期步骤更新适配器、提示编码器和掩模解码器参数，随后主要更新掩模解码器。

实验结果

研究问题

• RQ1 SAM-Med2D 在医学图像上是否能优于未修改的 SAM 的分割性能？
• RQ2 不同的提示（点、框、掩模）如何影响医学成像中的分割质量？
• RQ3 大规模的医学领域微调是否提升对模态间和未知 MICCAI 2023 数据集的泛化能力？
• RQ4 基于适配器的微调对 SAM 编码器在医学图像上的领域自适应有何影响？

主要发现

• SAM-Med2D 在评估任务上比 SAM 和 FT-SAM 获得更高的 Dice 分数，在 256x256 分辨率和多提示使用方面尤为显著。
• 在交互分割中，当使用多个点时，点提示可与或超过框提示的表现。
• SAM-Med2D 在 9 个 MICCAI 2023 数据集上展现出强泛化能力，表明对未见医学图像具有稳健性能。
• 全面的提示支持（点、框、掩模）与适配器使得医学图像分割比现有方法更广泛、有效。
• 实验表明大规模医学数据和领域自适应微调有助于提升 SAM 的医学分割性能。