[论文解读] One-shot Localization and Segmentation of Medical Images with Foundation Models

Deepa Anand, Gurunath Reddy M+11 more|arXiv (Cornell University)|Oct 28, 2023

Radiomics and Machine Learning in Medical Imaging被引用 7

一句话总结

简述：本文表明经过预训练的自然图像基础模型（ViT变体和 Stable Diffusion）通过使用模板图像引导 Segment Anything 模型，可以在多样化的医疗影像上实现单-shot 定位与分割，在不同模态下的 Dice 分数具有竞争力，在大多数任务上优于最近的少样本方法。

ABSTRACT

Recent advances in Vision Transformers (ViT) and Stable Diffusion (SD) models with their ability to capture rich semantic features of the image have been used for image correspondence tasks on natural images. In this paper, we examine the ability of a variety of pre-trained ViT (DINO, DINOv2, SAM, CLIP) and SD models, trained exclusively on natural images, for solving the correspondence problems on medical images. While many works have made a case for in-domain training, we show that the models trained on natural images can offer good performance on medical images across different modalities (CT,MR,Ultrasound) sourced from various manufacturers, over multiple anatomical regions (brain, thorax, abdomen, extremities), and on wide variety of tasks. Further, we leverage the correspondence with respect to a template image to prompt a Segment Anything (SAM) model to arrive at single shot segmentation, achieving dice range of 62%-90% across tasks, using just one image as reference. We also show that our single-shot method outperforms the recently proposed few-shot segmentation method - UniverSeg (Dice range 47%-80%) on most of the semantic segmentation tasks(six out of seven) across medical imaging modalities.

研究动机与目标

• 评估在域内微调缺失情况下，预训练的自然图像模型是否能解决医学影像对应任务。
• 演示使用模板图像来提示 SAM 模型的单-shot 分割管线。
• 评估跨多模态（CT、MR、超声）与解剖区域的性能。
• 将单-shot 性能与医学影像中的最近的少样本分割方法进行比较。

提出的方法

• 评估多种预训练的 ViT 模型（DINO、DINOv2、SAM、CLIP）以及在自然图像上训练的 Stable Diffusion 模型在医学影像对应任务上的表现。
• 使用模板图像对应来提示 Segment Anything 模型以获得单-shot 分割。
• 报告跨多模态与解剖区域的 Dice 分数，以评估泛化性。
• 将提出的单-shot 方法与 UniverSeg（少样本）在语义分割任务上进行比较。
• 给出跨模态与跨厂商鲁棒性结果。

实验结果

研究问题

• RQ1 在自然图像上训练的基础模型是否无需领域特定微调即可执行医学影像对应任务？
• RQ2 模板图像引导的提示方法是否能够在医学影像中实现准确的一次分割？
• RQ3 单-shot 分割在跨模态与任务中的表现相较最近的少样本方法如何？

主要发现

• 使用模板提示的自然图像基础模型进行单-shot 定位与分割，在不同任务的 Dice 分数范围为 62%–90%。
• 该方法仅使用一张参考图像来提示 SAM 进行分割。
• 在大多数跨模态的语义分割任务中（六项中的六项），单-shot 方法优于少样本的 UniverSeg 方法（Dice 范围 47%–80%）。
• 实验覆盖脑部、胸部、腹部和四肢的 CT、MR、超声，来自不同厂商。