[论文解读] Slide-SAM: Medical SAM Meets Sliding Window

Quan Quan, Fenghe Tang+3 more|arXiv (Cornell University)|Nov 16, 2023

AI in cancer detection被引用 4

一句话总结

Slide-SAM 提出了一种滑动窗口方法，通过使用预训练的 Segment Anything Model (SAM) 实现高效、多切片的 3D 医学图像分割，仅需在中心切片上提供一个提示。通过利用预训练权重，基于超像素提示生成伪标签，并采用结合 3D 和 2D 标注的混合损失函数，该方法在极少提示下实现了最先进性能，在少样本提示设置下优于 2D SAM 基线模型。

ABSTRACT

The Segment Anything Model (SAM) has achieved a notable success in two-dimensional image segmentation in natural images. However, the substantial gap between medical and natural images hinders its direct application to medical image segmentation tasks. Particularly in 3D medical images, SAM struggles to learn contextual relationships between slices, limiting its practical applicability. Moreover, applying 2D SAM to 3D images requires prompting the entire volume, which is time- and label-consuming. To address these problems, we propose Slide-SAM, which treats a stack of three adjacent slices as a prediction window. It firstly takes three slices from a 3D volume and point- or bounding box prompts on the central slice as inputs to predict segmentation masks for all three slices. Subsequently, the masks of the top and bottom slices are then used to generate new prompts for adjacent slices. Finally, step-wise prediction can be achieved by sliding the prediction window forward or backward through the entire volume. Our model is trained on multiple public and private medical datasets and demonstrates its effectiveness through extensive 3D segmetnation experiments, with the help of minimal prompts. Code is available at \url{https://github.com/Curli-quan/Slide-SAM}.

研究动机与目标

• 为解决将 2D SAM 应用于 3D 医学影像时切片独立推理导致的不连续性与高标注成本问题。
• 仅通过一次初始提示实现有效 3D 分割，同时保留 SAM 的预训练权重。
• 通过从阈值范围和基于超像素的提示生成丰富 2D 伪标签，提升数据效率。
• 通过结合 3D 真实标签与 2D 伪标签的混合损失函数，提升训练与推理的鲁棒性。
• 通过集成学习策略结合 2D SAM，利用互补优势提升性能。

提出的方法

• Slide-SAM 以三个相邻切片为一个滑动窗口，利用中心切片上的提示预测全部三张切片的掩码。
• 通过将上层和下层切片的预测结果传播，生成下一流窗口的新提示，实现对整个体积的顺序、逐步推理。
• 通过在医学图像中对不同阈值范围内的超像素提示应用 SAM，生成伪标签。
• 在训练过程中，混合损失函数选择性地应用 3D 真实标签与 2D 伪标签，同时优化单切片与多切片监督目标。
• 通过基于稳定性分数和 IoU 阈值过滤并重新评估预测结果的集成策略，将 Slide-SAM 与 2D SAM 结合。
• 该方法保留了 SAM 的预训练视觉编码器与解码器，同时引入轻量级适配器以建模 3D 上下文信息。

实验结果

研究问题

• RQ1 能否在不从头训练的前提下，有效将 2D 预训练 SAM 适配用于 3D 医学图像分割？
• RQ2 如何利用最少的人工提示实现在整个体积上的高质量 3D 分割？
• RQ3 通过基于超像素提示生成的伪标签，是否能提升低数据场景下的模型泛化能力？
• RQ4 Slide-SAM 与 2D SAM 的集成如何增强分割的鲁棒性与准确性？
• RQ5 滑动窗口机制在多大程度上降低了标注成本，同时保持了空间一致性？

主要发现

• Slide-SAM 仅使用每种解剖结构 5 个提示，在 AbdomenCT-1K 和 CHAOS 数据集上实现了具有竞争力的 3D 分割性能，显著少于 2D SAM 基线模型平均约 40 个提示。
• 与 2D SAM 方法相比，该方法将达到 90% Dice 评分所需的提示数量减少了 50%以上，展现出卓越的少样本效率。
• 可视化结果表明，切片间分割结果平滑连贯，消除了传统逐切片 SAM 推理中常见的不连续现象。
• Slide-SAM 与 2D SAM 的集成在所有解剖结构上均提升了性能，多个测试集的 Dice 分数显著提高。
• 通过超像素提示与 SAM 推理生成的伪标签显著提升了模型性能，优于仅使用真实标签进行微调的结果。
• 模型对噪声点提示与框提示表现出鲁棒性，尤其在平移与缩放扰动下，框提示表现更优。