[论文解读] SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation

Wenxi Yue, Jing Zhang+4 more|arXiv (Cornell University)|Aug 17, 2023

Medical Imaging and Analysis被引用 4

一句话总结

SurgicalSAM 提出了一种高效、端到端的微调方法，用于分割一切模型（SAM），通过用轻量级基于原型的类别提示编码器和对比原型学习，取代显式的提示，从而提升外科器械分割性能。该方法在 EndoVis2018 和 EndoVis2017 数据集上实现了最先进性能，仅使用 4.65M 可训练参数，显著增强了在外科领域中的鲁棒性和泛化能力。

ABSTRACT

The Segment Anything Model (SAM) is a powerful foundation model that has revolutionised image segmentation. To apply SAM to surgical instrument segmentation, a common approach is to locate precise points or boxes of instruments and then use them as prompts for SAM in a zero-shot manner. However, we observe two problems with this naive pipeline: (1) the domain gap between natural objects and surgical instruments leads to inferior generalisation of SAM; and (2) SAM relies on precise point or box locations for accurate segmentation, requiring either extensive manual guidance or a well-performing specialist detector for prompt preparation, which leads to a complex multi-stage pipeline. To address these problems, we introduce SurgicalSAM, a novel end-to-end efficient-tuning approach for SAM to effectively integrate surgical-specific information with SAM's pre-trained knowledge for improved generalisation. Specifically, we propose a lightweight prototype-based class prompt encoder for tuning, which directly generates prompt embeddings from class prototypes and eliminates the use of explicit prompts for improved robustness and a simpler pipeline. In addition, to address the low inter-class variance among surgical instrument categories, we propose contrastive prototype learning, further enhancing the discrimination of the class prototypes for more accurate class prompting. The results of extensive experiments on both EndoVis2018 and EndoVis2017 datasets demonstrate that SurgicalSAM achieves state-of-the-art performance while only requiring a small number of tunable parameters. The source code is available at https://github.com/wenxi-yue/SurgicalSAM.

研究动机与目标

• 为解决 SAM 中自然物体与外科器械之间的领域差距，该差距导致零样本泛化性能差。
• 消除对外部精确边界框或点提示的依赖，这些提示对抖动敏感且需要复杂的多阶段流水线。
• 通过增强的类别原型学习，提升高度相似外科器械类别之间的判别能力。
• 实现 SAM 的高效端到端微调，仅需极少参数更新，降低临床部署的训练与推理成本。

提出的方法

• 轻量级基于原型的类别提示编码器直接从类别原型生成提示嵌入，绕过显式的点或框提示。
• 该方法仅微调掩码解码器和原型编码器，保持 ViT-H 图像编码器冻结，以确保效率。
• 引入对比原型学习，通过最小化不同器械类别之间的相似性并最大化同一类别内部的相似性，增强类别间判别能力。
• 模型同时使用稀疏（基于原型）和密集（图像特征）提示嵌入来引导掩码解码器，提升分割精度。
• 类别提示编码器通过计算图像特征与类别原型之间的相似性图，激活相关区域以实现精确定位。
• 框架通过联合损失函数进行端到端训练，包括掩码损失和原型对比损失（$\mathcal{L}_{PCL}$）。

实验结果

研究问题

• RQ1 基于原型的提示编码器是否能在不依赖显式边界框或点提示的情况下，提升零样本外科器械分割性能？
• RQ2 对比原型学习如何增强对外科器械中高度相似类别的判别能力？
• RQ3 在仅使用极少参数的情况下，对 SAM 进行端到端微调在外科分割基准上的性能提升程度如何？
• RQ4 该方法在提示噪声或提示位置与尺度变化下的鲁棒性如何？
• RQ5 结合稀疏与密集提示嵌入对内镜外科分割精度有何影响？

主要发现

• SurgicalSAM 在 EndoVis2018 数据集上达到 80.33% 的挑战 IoU 和 58.87% 的 mc IoU，创下新最先进水平。
• 消融实验表明，若移除密集提示嵌入，性能降至 23.61% 的挑战 IoU，凸显其关键作用。
• 若无稀疏提示嵌入，性能下降至 78.58% 的挑战 IoU，表明其在精确定位中的重要性。
• 对比原型学习方法优于基于 CLIP 的文本提示基线，后者仅达到 75.94% 的挑战 IoU。
• 该方法对随机种子变化表现出高度鲁棒性，重复实验中挑战 IoU 的标准差仅为 0.29。
• 仅微调 4.65 百万参数，实现低训练与推理成本，同时保持高性能。