[论文解读] Segment Anything Model for Brain Tumor Segmentation

Peng Zhang, Yaping Wang|arXiv (Cornell University)|Sep 15, 2023

Brain Tumor Detection and Classification被引用 5

一句话总结

本文评估了分割一切模型（SAM）在胶质瘤MRI扫描中脑肿瘤分割的零样本泛化能力。尽管SAM展现出强大的零样本性能，但研究发现其表现仍逊于最先进的微调模型，凸显了在医学影像中即使具备广泛泛化潜力，仍需进行适应性调整的必要性。

ABSTRACT

Glioma is a prevalent brain tumor that poses a significant health risk to individuals. Accurate segmentation of brain tumor is essential for clinical diagnosis and treatment. The Segment Anything Model(SAM), released by Meta AI, is a fundamental model in image segmentation and has excellent zero-sample generalization capabilities. Thus, it is interesting to apply SAM to the task of brain tumor segmentation. In this study, we evaluated the performance of SAM on brain tumor segmentation and found that without any model fine-tuning, there is still a gap between SAM and the current state-of-the-art(SOTA) model.

研究动机与目标

• 评估分割一切模型（SAM）在脑肿瘤MRI扫描中的零样本分割性能。
• 将SAM的性能与在胶质瘤分割任务中专门训练和微调的最先进（SOTA）模型进行比较。
• 探究SAM在无任务特定适应的情况下于医学图像分割中的局限性。
• 为将基础模型如SAM部署于临床神经影像工作流程提供洞见。

提出的方法

• 本研究在未经任何微调的情况下，直接将预训练的分割一切模型（SAM）应用于脑肿瘤MRI数据集。
• SAM利用视觉编码器和提示编码器，从图像特征和用户提供的提示中生成分割掩码。
• 通过自然语言提示和点击式提示进行推理，以评估不同输入类型下的鲁棒性。
• 使用Dice和IoU等标准分割指标，在公开的胶质瘤数据集上评估模型输出掩码的性能。
• 将性能与在脑肿瘤分割任务中专门训练和微调的SOTA模型进行对比。
• 评估涵盖多种MRI扫描类型和肿瘤特征的定性与定量分析。

实验结果

研究问题

• RQ1 分割一切模型（SAM）是否能在医学影像数据上无需任何微调即实现具有竞争力的脑肿瘤分割性能？
• RQ2 SAM的零样本性能与专门针对脑肿瘤分割训练的最先进（SOTA）模型相比如何？
• RQ3 当应用于胶质瘤MRI扫描时，SAM的关键失败模式是什么，特别是在肿瘤边界定位方面？
• RQ4 提示类型（例如点击式与文本式）在脑肿瘤分割应用中在多大程度上影响SAM的分割精度？

主要发现

• SAM在脑肿瘤MRI扫描中实现了强大的零样本分割性能，展现出在多种扫描类型间的良好泛化能力。
• 尽管具备强大的零样本能力，SAM的Dice分数仍低于最先进的（SOTA）微调模型。
• SAM在小尺寸或对比度较差的肿瘤上表现不佳，常遗漏细微或不规则形状的病灶。
• 在脑肿瘤分割背景下，点击式提示产生的结果比文本式提示更一致。
• 模型在不同MRI序列上的性能表现出显著差异，表明其对图像对比度和分辨率较为敏感。
• 定性分析显示，SAM在T1-和T2加权图像中，尤其在肿瘤边界附近，倾向于过度分割或欠分割区域。