[论文解读] Towards SAMBA: Segment Anything Model for Brain Tumor Segmentation in Sub-Sharan African Populations

Mohannad Barakat, Noha Magdy+5 more|arXiv (Cornell University)|Dec 19, 2023

COVID-19 diagnosis using AI被引用 5

一句话总结

本文提出 SAMBA，一种针对撒哈拉以南非洲人群脑肿瘤分割微调的 Segment Anything Model (SAM)，采用 BraTS-Africa 数据集。通过利用边界框引导的提示和多模态投票集成，SAMBA 在二分类分割中取得 86.6 的 Dice 分数，在多分类分割中取得 60.4 的 Dice 分数，为高资源匮乏环境提供了稳健的解决方案，尤其适用于高质量医学影像数据有限的场景。

ABSTRACT

Gliomas, the most prevalent primary brain tumors, require precise segmentation for diagnosis and treatment planning. However, this task poses significant challenges, particularly in the African population, were limited access to high-quality imaging data hampers algorithm performance. In this study, we propose an innovative approach combining the Segment Anything Model (SAM) and a voting network for multi-modal glioma segmentation. By fine-tuning SAM with bounding box-guided prompts (SAMBA), we adapt the model to the complexities of African datasets. Our ensemble strategy, utilizing multiple modalities and views, produces a robust consensus segmentation, addressing intra-tumoral heterogeneity. Although the low quality of scans presents difficulties, our methodology has the potential to profoundly impact clinical practice in resource-limited settings such as Africa, improving treatment decisions and advancing neuro-oncology research. Furthermore, successful application to other brain tumor types and lesions in the future holds promise for a broader transformation in neurological imaging, improving healthcare outcomes across all settings. This study was conducted on the Brain Tumor Segmentation (BraTS) Challenge Africa (BraTS-Africa) dataset, which provides a valuable resource for addressing challenges specific to resource-limited settings, particularly the African population, and facilitating the development of effective and more generalizable segmentation algorithms. To illustrate our approach's potential, our experiments on the BraTS-Africa dataset yielded compelling results, with SAM attaining a Dice coefficient of 86.6 for binary segmentation and 60.4 for multi-class segmentation.

研究动机与目标

• 解决撒哈拉以南非洲人群脑肿瘤分割缺乏高质量神经影像数据的问题。
• 在医疗影像和计算工具获取受限的资源匮乏环境中提升分割精度。
• 开发一种可泛化、鲁棒的分割框架，适用于非洲医疗环境中常见的低质量扫描。
• 利用 Segment Anything Model (SAM) 减少对大规模标注数据集的依赖，通过提示驱动的适应方式。
• 通过人工智能驱动的分割，为代表性不足人群的胶质瘤提供更准确的诊断和治疗规划。

提出的方法

• 使用边界框引导提示（SAMBA）对 Segment Anything Model (SAM) 进行微调，以适应撒哈拉以南非洲脑肿瘤 MRI 扫描的特征。
• 实施多模态和多视角投票网络，整合不同成像序列（如 T1、T2、FLAIR、T1c）和视角的预测结果。
• 利用集成学习生成共识分割结果，减轻肿瘤内部异质性和低扫描质量带来的误差。
• 通过提示工程引导 SAM，以最小的人工输入提升在低资源数据集上的性能。
• 在 BraTS-Africa 数据集上进行模型训练与评估，该数据集是来自非洲患者的 T1、T2、FLAIR 和 T1c MRI 扫描的精选集合。
• 通过基于置信度的多模型预测投票，对分割掩码进行迭代优化，提升推理效率。

实验结果

研究问题

• RQ1 Segment Anything Model 是否能有效微调用于资源匮乏的撒哈拉以南非洲人群脑肿瘤分割，且标注数据有限？
• RQ2 边界框引导提示在 BraTS-Africa 数据集的低质量 MRI 扫描上如何提升分割性能？
• RQ3 多模态和多视角投票集成在存在肿瘤内部异质性的情况下，能在多大程度上增强分割的鲁棒性和准确性？
• RQ4 基于 SAM 的方法是否能在无需大量模型微调或大规模标注的情况下，实现与现有方法相当的胶质瘤分割性能？
• RQ5 SAMBA 框架在资源匮乏环境中对其他脑肿瘤类型和成像情境的泛化能力如何？

主要发现

• SAMBA 在 BraTS-Africa 数据集上实现二分类胶质瘤分割的 Dice 系数为 86.6，尽管扫描质量较低，仍表现出强劲性能。
• 在多分类分割中，模型取得 60.4 的 Dice 分数，表明能有效区分肿瘤亚区，如坏死和活性成分。
• 投票集成策略显著提升了分割的一致性并减少了噪声，尤其在组织对比度低和存在伪影的区域表现突出。
• 通过边界框提示对 SAM 进行微调，可在无需从头开始完整微调的情况下，有效适应非洲患者扫描的独特成像特征。
• 该方法在高资源匮乏、高质量影像获取受限的临床环境中具有强大的部署潜力，为低资源地区的神经肿瘤学提供可扩展的解决方案。
• 结果表明，SAMBA 可作为更广泛神经影像应用（包括其他脑部病变和病理）的基础，超越胶质瘤的范畴。