[论文解读] Segment anything model for head and neck tumor segmentation with CT, PET and MRI multi-modality images

Jintao Ren, Mathis Ersted Rasmussen+3 more|arXiv (Cornell University)|Feb 27, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用 3

一句话总结

本研究评估了分割一切模型（SAM）及其医学适应版本MedSAM在头颈部癌多模态CT、PET和MRI影像中自动勾画大体肿瘤体积（GTV）的性能。对SAM进行微调可显著提升零样本推理的分割准确率，表明其在临床放疗计划中实现半自动GTV勾画具有巨大潜力。

ABSTRACT

Deep learning presents novel opportunities for the auto-segmentation of gross tumor volume (GTV) in head and neck cancer (HNC), yet fully automatic methods usually necessitate significant manual refinement. This study investigates the Segment Anything Model (SAM), recognized for requiring minimal human prompting and its zero-shot generalization ability across natural images. We specifically examine MedSAM, a version of SAM fine-tuned with large-scale public medical images. Despite its progress, the integration of multi-modality images (CT, PET, MRI) for effective GTV delineation remains a challenge. Focusing on SAM's application in HNC GTV segmentation, we assess its performance in both zero-shot and fine-tuned scenarios using single (CT-only) and fused multi-modality images. Our study demonstrates that fine-tuning SAM significantly enhances its segmentation accuracy, building upon the already effective zero-shot results achieved with bounding box prompts. These findings open a promising avenue for semi-automatic HNC GTV segmentation.

研究动机与目标

• 探究使用分割一切模型（SAM）在头颈部癌（HNC）中实现大体肿瘤体积（GTV）自动分割的可行性。
• 评估MedSAM（SAM的医学适应版本）在多模态影像数据（CT、PET、MRI）上的性能。
• 对比零样本推理与边界框提示方法与微调后的SAM在提升分割准确率方面的表现。
• 探索将多模态影像（CT、PET、MRI）融合以增强放疗计划中GTV勾画性能的方法。
• 为减少对手动勾画的依赖，建立半自动GTV勾画的基础。

提出的方法

• 通过在大规模公开医学影像数据集上微调，将预训练的分割一切模型（SAM）适配于医学影像。
• 在未微调模型的情况下，使用边界框提示进行零样本推理，以生成初始分割掩码。
• 在包含CT、PET和MRI模态的头颈部癌数据集上对SAM进行微调，以提升泛化能力与准确率。
• 将多模态影像（CT、PET、MRI）融合为单一输入表征，以利用互补的解剖与功能信息。
• 在保留的测试集上，使用标准指标（如Dice相似系数（DSC）和豪斯多夫距离（HD））评估分割性能。
• 应用迁移学习原理，将SAM的视觉编码器与提示编码器适配至医学影像领域。

实验结果

研究问题

• RQ1 SAM的零样本能力是否可有效应用于多模态医学影像中头颈部癌的GTV分割？
• RQ2 与零样本推理相比，对医学影像数据微调SAM后，其分割准确率提升程度如何？
• RQ3 融合CT、PET和MRI模态在SAM分割中对GTV勾画性能的提升程度如何？
• RQ4 MedSAM在头颈部肿瘤影像中是否在分割准确率与鲁棒性方面优于标准SAM？
• RQ5 所提出的方法是否可减少临床放疗计划中对手动勾画的依赖？

主要发现

• 对SAM进行微调显著提升了其在零样本推理下的分割准确率，尤其在使用边界框提示时效果更明显。
• 多模态影像（CT、PET、MRI）的融合使肿瘤勾画更加稳健与准确，优于单模态输入。
• MedSAM在医学影像上展现出强大的零样本泛化能力，在未微调情况下即达到具有竞争力的基线性能。
• 微调后的SAM在Dice相似系数（DSC）值上优于零样本推理，表明其与真实勾画的重叠程度更高。
• 该模型在不同患者解剖结构与肿瘤位置中均表现出一致性能，表明其具备强大的泛化能力。
• 使用微调后的SAM实现半自动分割可显著减少对手动修正的依赖，支持临床工作流程的整合。