[论文解读] SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization

Yichi Zhang, Yang, Jin+3 more|arXiv (Cornell University)|Dec 11, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出SemiSAM，一种通过一致性正则化利用Segment Anything Model（SAM）作为额外监督分支来增强半监督医学图像分割的方法。通过使用分割模型的预测结果为SAM生成提示，并强制SAM与主模型之间的输出保持一致，SemiSAM显著提升了性能——尤其在仅使用1–4个标注样本时，Dice分数最高比基线半监督方法高出10.78%。

ABSTRACT

Semi-supervised learning has attracted much attention due to its less dependence on acquiring abundant annotations from experts compared to fully supervised methods, which is especially important for medical image segmentation which typically requires intensive pixel/voxel-wise labeling by domain experts. Although semi-supervised methods can improve the performance by utilizing unlabeled data, there are still gaps between fully supervised methods under extremely limited annotation scenarios. In this paper, we propose a simple yet efficient strategy to explore the usage of the Segment Anything Model (SAM) for enhancing semi-supervised medical image segmentation. Concretely, the segmentation model trained with domain knowledge provides information for localization and generating input prompts to the SAM. Then the generated pseudo-labels of SAM are utilized as additional supervision to assist in the learning procedure of the semi-supervised framework. Extensive experiments demonstrate that SemiSAM significantly improves the performance of existing semi-supervised frameworks when only one or a few labeled images are available and shows strong efficiency as a plug-and-play strategy for semi-supervised medical image segmentation.

研究动机与目标

• 为解决医学图像分割中高标注成本的问题，特别是在仅有极少量标注数据的情况下。
• 探索像SAM这样的基础模型如何被整合到半监督学习框架中，以减少对专家标注数据的依赖。
• 通过引入SAM生成的伪标签作为额外监督信号，提升现有半监督分割框架的性能。
• 评估SAM辅助的一致性正则化在低样本量医学图像分割场景下的有效性。

提出的方法

• 分割模型基于其在未标注图像上的预测结果，生成定位信息和提示点供SAM使用。
• SAM利用生成的提示为相同图像生成伪标签，这些伪标签随后作为额外的监督信号。
• 在分割模型的预测结果与SAM的伪标签之间应用一致性正则化损失，以对齐两者的输出。
• 该方法被集成到Mean Teacher和Uncertainty-Aware Mean Teacher等现有半监督框架中。
• 通过使用模型生成的提示，避免了人工提示，实现了无需人工干预的零样本式引导。
• 端到端训练框架结合了标注数据上的监督损失、未标注数据上的一致性损失以及基于SAM的一致性正则化。

实验结果

研究问题

• RQ1 SAM能否在仅使用极少人工标注数据的半监督医学图像分割中，作为额外监督来源被有效利用？
• RQ2 在低样本量设置下，SAM辅助的一致性正则化相较于标准半监督方法，如何提升分割性能？
• RQ3 当可用的标注图像数量增加时，SAM集成带来的性能提升是否会减弱？
• RQ4 自动生成提示的质量如何影响训练过程中SAM伪标签的可靠性？

主要发现

• 仅使用一个标注样本时，SemiSAM将Dice分数从基线方法Mean Teacher的30.60%提升至41.38%，相对提升10.78%。
• 使用两个标注样本时，Dice分数从58.17%提升至69.46%，提升11.29%。
• 使用四个标注样本时，Dice分数从72.40%提升至80.42%，较基线提升8.02%。
• SAM带来的性能增益在数据量极少时最为显著，当标注样本达到8个或以上时，增益逐渐减弱。
• 在相同提示数量下，基于SAM的伪标签优于传统交互式SAM方法，表明自动提示生成具有优势。
• 该方法同时降低了95% Hausdorff距离（95HD）和平均表面距离（ASD），表明边界精度得到改善。