[论文解读] Segment Anything Model (SAM) for Radiation Oncology

Lian Zhang, Zhengliang Liu+11 more|arXiv (Cornell University)|Jun 20, 2023

Advanced Radiotherapy Techniques被引用 13

一句话总结

本研究在前列腺、肺、GI以及头颈放疗部位的CT基于器官风险(OARs)上评估 SAM 的零-shot 与可提示分割，比较 segment-everything 与 box-prompt 模式与 ground-truth 轮廓，使用 Dice 与 Jaccard 指标。

ABSTRACT

In this study, we evaluate the performance of the Segment Anything Model (SAM) in clinical radiotherapy. Our results indicate that SAM's 'segment anything' mode can achieve clinically acceptable segmentation results in most organs-at-risk (OARs) with Dice scores higher than 0.7. SAM's 'box prompt' mode further improves the Dice scores by 0.1 to 0.5. Considering the size of the organ and the clarity of its boundary, SAM displays better performance for large organs with clear boundaries but performs worse for smaller organs with unclear boundaries. Given that SAM, a model pre-trained purely on natural images, can handle the delineation of OARs from medical images with clinically acceptable accuracy, these results highlight SAM's robust generalization capabilities with consistent accuracy in automatic segmentation for radiotherapy. In other words, SAM can achieve delineation of different OARs at different sites using a generic automatic segmentation model. SAM's generalization capabilities across different disease sites suggest that it is technically feasible to develop a generic model for automatic segmentation in radiotherapy.

研究动机与目标

• 评估 SAM 在前列腺、肺、GI 以及头颈部位的临床 CT OAR 分割的零-shot 表现。
• 将 SAM 的 segment-everything 与 box-prompt 两种模式与地面实况手动分割对比，使用 Dice 与 Jaccard 指数。
• 识别在 SAM 下收益最大的器官和部位，以及潜在临床应用中仍存的局限性。
• 就将 SAM 集成到放疗工作流提供指南，并给出改进 3D/多模态分割的方向。

提出的方法

• 按照 RTOG 标准，由经验丰富的放射肿瘤科医生对每个部位进行界定，使用80例患者 CT 病例（每个部位20例：前列腺、GI、肺部、头颈部），每例含5–14个 OAR。
• 比较 SAM 的两种模式：segment-everything（无提示）与手动 box prompt（感兴趣区域提示）相对于地面实况 CT 分割。
• 使用 Dice 系数和 Jaccard 指数（IOU）评估 SAM 输出与地面实况掩模之间的分割。
• 分析器官大小和边界清晰度对跨部位泛化的影响。
• 由于 SAM 的二维限制，处理每名患者的 5 个代表性切片，并在未来工作中计划实现三维扩展。

Figure 1 : Workflow of SAM segmentation in clinical cases with SAM segment everything mode and SAM box prompt mode taking prostate as an example.

实验结果

研究问题

• RQ1 在不进行特定任务训练的情况下，SAM 是否能在放疗的多个人解剖部位提供临床可接受的 OAR 自动分割？
• RQ2 在临床放疗 CT 图像中，box-prompt 模式是否显著提高 SAM 的 Dice/Jaccard 表现，相较于 segment-everything？
• RQ3 哪些器官和部位显示出对 SAM 的稳健表现，哪些在零-shot 条件下仍具挑战？
• RQ4 将 SAM 集成到真实世界放疗勾画工作流中的实际意义与局限性？
• RQ5 为提升 SAM 的临床实用性，未来应考虑哪些增强（3D 分割、多模态）？

主要发现

• Segment-everything 模式在许多大型/清晰的 OAR 上达到 Dice 分数超过 0.7（例如前列腺膀胱 0.748，股骨头约 0.8，肺部约 0.86），但对小型/模糊结构的表现较差（如食管未被识别；耳蜗/腮腺常常为 0）。
• Box prompt 模式通常在许多器官上将 Dice 提升约 0.1–0.5，使此前未识别的 OAR（如食管、部分腮腺）得以识别，但对于小型或边界不清晰的结构仍有限。
• 在前列腺和肺部部位使用 segment-everything 时 SAM 表现最佳；在 GI 和头颈部部位效果较差；结果与各部位手动勾画难度一致。
• 总体而言，单一的 SAM 模型展示了跨部位对多种放疗器官的泛化能力，表明在经 3D/多模态增强后，开发通用自动分割模型用于放疗是可行的。
• 由于以 CT 为中心的训练，某些边界仍不清晰；建议未来改进包括多模态成像（如 MRI）和三维扩展。

Figure 2 : Comparison of the clinical delineation (ground truth), SAM segment everything, and SAM with manual box prompt of example cases. a) prostate b) lung c) gastrointestinal d) head&neck