[论文解读] SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge for Semi-Supervised Learning in Medical Image Segmentation

Yizhe Zhang, Tao Zhou+4 more|arXiv (Cornell University)|Aug 26, 2023

AI in cancer detection被引用 6

一句话总结

SamDSK 提出了一种迭代的弱监督学习框架，将 Segment Anything Model (SAM) 与领域特定知识 (DSK) 相结合，仅使用极少的标注数据即可提升医学图像分割性能。通过在 SAM 生成的提议与像素级/图像级 DSK 之间实现最优匹配，该方法逐步扩展标注数据集，在仅使用 10% 标注数据的情况下，于乳腺癌、息肉和皮肤病变分割任务上实现了最先进性能。

ABSTRACT

The Segment Anything Model (SAM) exhibits a capability to segment a wide array of objects in natural images, serving as a versatile perceptual tool for various downstream image segmentation tasks. In contrast, medical image segmentation tasks often rely on domain-specific knowledge (DSK). In this paper, we propose a novel method that combines the segmentation foundation model (i.e., SAM) with domain-specific knowledge for reliable utilization of unlabeled images in building a medical image segmentation model. Our new method is iterative and consists of two main stages: (1) segmentation model training; (2) expanding the labeled set by using the trained segmentation model, an unlabeled set, SAM, and domain-specific knowledge. These two stages are repeated until no more samples are added to the labeled set. A novel optimal-matching-based method is developed for combining the SAM-generated segmentation proposals and pixel-level and image-level DSK for constructing annotations of unlabeled images in the iterative stage (2). In experiments, we demonstrate the effectiveness of our proposed method for breast cancer segmentation in ultrasound images, polyp segmentation in endoscopic images, and skin lesion segmentation in dermoscopic images. Our work initiates a new direction of semi-supervised learning for medical image segmentation: the segmentation foundation model can be harnessed as a valuable tool for label-efficient segmentation learning in medical image segmentation.

研究动机与目标

• 为应对标注医学图像有限的挑战，通过弱监督学习利用大量未标注数据。
• 将领域特定知识 (DSK) 与 Segment Anything Model (SAM) 相结合，实现对未标注医学图像的可靠伪标签生成。
• 开发一种迭代框架，联合训练分割模型并利用 SAM 与 DSK 扩展标注数据集。
• 通过融合基础模型预测与任务特定约束，在低样本设置下提升分割性能。
• 建立一种鲁棒、标签高效的医学图像分割方法，适用于多种成像模态。

提出的方法

• 该方法采用迭代的两阶段流程：(1) 在初始标注数据集上训练分割模型；(2) 利用未标注图像扩展标注数据集。
• 在第二阶段，训练好的模型生成像素级 DSK（分割概率图），而图像级 DSK 则施加如每幅图像中预期感兴趣区域数量等约束。
• SAM 为每张未标注图像生成分割提议，随后通过一种新颖的基于匹配的标注构建方法，将这些提议与 DSK 进行最优匹配。
• 最优匹配过程选择与模型预测和领域特定约束均最匹配的高质量提议。
• 将扩展后的标注数据集用于重新训练分割模型，该过程重复进行直至无法再添加新样本。
• 该框架整合了 SAM 的零样本泛化能力与医学领域先验知识，以提升伪标签质量与模型鲁棒性。

Figure 1: A high-level comparison between a conventional approach (left) and our proposed SamDSK (right) for semi-supervised learning (SSL) in medical image segmentation.

实验结果

研究问题

• RQ1 SAM 能否与领域特定知识有效结合，以提升医学图像分割中的伪标签质量？
• RQ2 使用 DSK 增强的伪标签进行迭代模型微调，在低数据场景下如何影响分割性能？
• RQ3 SAM 提议与 DSK 之间的最优匹配是否优于基于不确定度或置信度的选择方法，用于样本扩展？
• RQ4 SAM 在不同医学成像模态（如超声、内窥镜和皮肤镜）中的性能表现如何？
• RQ5 结合图像级与像素级 DSK 是否能生成比单独使用 SAM 更一致、更准确的分割标注？

主要发现

• 在仅使用 10% 标注数据的情况下，SamDSK 在超声图像中的乳腺癌分割任务上实现了最先进性能，mIoU 显著优于基线方法与现有弱监督学习方法。
• 在内镜图像中的息肉分割任务中，SamDSK 在通过最优匹配选出的前 10% 样本上实现了 95% 的 mIoU，表明其伪标签选择质量极高。
• 在 ISIC 2018 数据集上的皮肤病变分割任务中，SamDSK 优于对比方法，在仅使用 10% 标注数据的情况下，对最高质量样本实现了 92% 的 mIoU。
• 基于 β 评分的最优匹配选择方法在识别高质量样本方面优于模型不确定性和置信度方法，且在分割质量上取得了统计显著提升。
• 在息肉分割任务中，SAM 生成的提议与真实标注匹配的 Dice 系数达到 89.1%，但在恶性乳腺癌病例中仅达 64.4%，表明其性能具有模态依赖性。
• 多轮迭代过程在所有数据集上均持续提升了模型性能，证实了 SamDSK 框架的稳定性与可扩展性。

Figure 2: The main steps of our proposed SamDSK method. Step-0 to step-4 are repeated iteratively until a certain criterion is met (e.g., no more samples are added to the labeled set). Step-0 may need to run only once if SAM remains unchanged during the process.