[论文解读] Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot Segmentation on Whole Slide Imaging

Ruining Deng, Can Cui+14 more|arXiv (Cornell University)|Apr 9, 2023

AI in cancer detection被引用 96

一句话总结

本文在全切片图像上对 SAM 的零-shot 分割进行评估，针对肿瘤、组织和细胞核分割，突出对大对象的强大表现，但在密集实例分割方面存在局限，并概述关键局限性及未来可能的微调方向。

ABSTRACT

The segment anything model (SAM) was released as a foundation model for image segmentation. The promptable segmentation model was trained by over 1 billion masks on 11M licensed and privacy-respecting images. The model supports zero-shot image segmentation with various segmentation prompts (e.g., points, boxes, masks). It makes the SAM attractive for medical image analysis, especially for digital pathology where the training data are rare. In this study, we evaluate the zero-shot segmentation performance of SAM model on representative segmentation tasks on whole slide imaging (WSI), including (1) tumor segmentation, (2) non-tumor tissue segmentation, (3) cell nuclei segmentation. Core Results: The results suggest that the zero-shot SAM model achieves remarkable segmentation performance for large connected objects. However, it does not consistently achieve satisfying performance for dense instance object segmentation, even with 20 prompts (clicks/boxes) on each image. We also summarized the identified limitations for digital pathology: (1) image resolution, (2) multiple scales, (3) prompt selection, and (4) model fine-tuning. In the future, the few-shot fine-tuning with images from downstream pathological segmentation tasks might help the model to achieve better performance in dense object segmentation.

研究动机与目标

• 在数字病理学中由于标注数据稀缺而推动零-shot 分割。
• 评估 SAM 在全切片成像中对肿瘤、组织和核分割的零-shot 性能。
• 识别 SAM 在高分辨率、多尺度和密集病理任务中的局限性。
• 提出在 WSI 中通过少量样本微调改善密集对象分割的方向。

提出的方法

• 在全切片图像上使用 SAM 进行多种提示（单点、20 点、总点数/框）。
• 在肿瘤、组织、核三个任务中将 SAM 与最前沿的领域特定模型（SOTA）进行比较。
• 对 WSIs 进行缩放以与 SAM 兼容，并在 TCGA 皮肤癌 WSIs、NEPTUNE 肾脏病变切片和 MoNuSeg 核数据上评估提示策略。
• 强调上界提示（对所有实例进行点/框）作为对 SAM 性能的理论极限。
• 报告跨任务和提示方案的 Dice 分数以量化零-shot 性能。

实验结果

研究问题

• RQ1 零-shot SAM 是否能够在 WSI 中有效地分割大型连通病理对象？
• RQ2 在不同提示策略下，SAM 在肿瘤、组织和核分割中的表现如何？
• RQ3 阻碍 SAM 达到数字病理领域 SOTA 的主要局限性是什么？
• RQ4 少量样本或微调方法是否能提高 SAM 在 WSI 的密集对象分割性能？

主要发现

• 在零-shot 设置下，SAM 在数字病理学中对大型连通对象实现了强分割。
• 即使每张图像有多个提示，SAM 也难以完成密集实例对象分割。
• 在肿瘤、组织和核任务中，SAM 与 SOTA 领域专用模型之间存在性能差距。
• 局限性包括图像分辨率、多尺度需求、提示选择质量，以及缺乏针对领域数据的微调。
• 研究表明在下游病理分割任务上通过少量样本微调可能带来潜在收益。