[论文解读] ScribblePrompt: Fast and Flexible Interactive Segmentation for Any Biomedical Image

Hallee E. Wong, Marianne Rakic+2 more|arXiv (Cornell University)|Dec 12, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

ScribblePrompt 是一种快速、灵活且可泛化的生物医学图像交互式分割框架，支持草图、点击和边界框作为用户输入。在包含合成标签和真实标签的65个多样化数据集上进行训练后，它可在单个CPU上实现实时推理，相较于先前方法，在用户研究中将标注时间减少了28%，Dice分数提升了15%。

ABSTRACT

Biomedical image segmentation is a crucial part of both scientific research and clinical care. With enough labelled data, deep learning models can be trained to accurately automate specific biomedical image segmentation tasks. However, manually segmenting images to create training data is highly labor intensive and requires domain expertise. We present \emph{ScribblePrompt}, a flexible neural network based interactive segmentation tool for biomedical imaging that enables human annotators to segment previously unseen structures using scribbles, clicks, and bounding boxes. Through rigorous quantitative experiments, we demonstrate that given comparable amounts of interaction, ScribblePrompt produces more accurate segmentations than previous methods on datasets unseen during training. In a user study with domain experts, ScribblePrompt reduced annotation time by 28% while improving Dice by 15% compared to the next best method. ScribblePrompt's success rests on a set of careful design decisions. These include a training strategy that incorporates both a highly diverse set of images and tasks, novel algorithms for simulated user interactions and labels, and a network that enables fast inference. We showcase ScribblePrompt in an interactive demo, provide code, and release a dataset of scribble annotations at https://scribbleprompt.csail.mit.edu

研究动机与目标

• 开发一种支持多样化用户输入（草图、点击和边界框）的交互式分割框架，用于生物医学图像。
• 实现在无需任务特定微调的情况下，泛化到未见过的分割任务和成像模态。
• 在训练期间模拟真实草图，以提升模型的鲁棒性和可用性。
• 实现在单个CPU上实时推理，以实现临床和研究部署的实际可行性。
• 通过灵活、直观的用户交互，减少标注时间并提高分割精度。

提出的方法

• 该框架使用基于深度学习的分割模型，该模型在包含真实标签和合成标签的65个公开获取的生物医学数据集的多样化集合上进行训练。
• 它引入了一种新颖的数据增强策略，通过模拟用户行为（包括基于真实标签和错误区域的正负草图）生成逼真的草图。
• 该模型被训练以处理迭代交互，支持通过任意输入类型进行初始预测和用户修正后的优化。
• 草图模拟通过几何和空间启发式方法实现，以模仿人类的草图模式，包括线条、中心线和轮廓草图。
• 该框架在统一的推理流程中支持多种输入模式——草图、点击和边界框。
• 通过模型优化和高效架构设计，实现了实时推理，支持单CPU部署。

实验结果

研究问题

• RQ1 一个单一的分割模型是否能够在无需任务特定微调的情况下，泛化到多样化的生物医学成像任务和模态？
• RQ2 在标注效率和分割精度方面，草图与点击和边界框相比表现如何？
• RQ3 在训练期间使用逼真的草图模拟是否能提升模型在真实用户交互中的表现？
• RQ4 ScribblePrompt 在真实世界用户环境中在多大程度上减少了标注时间并提升了分割质量？
• RQ5 该模型是否能在多种网络架构和未见过的数据集上保持高性能？

主要发现

• 在经验丰富的标注员参与的用户研究中，ScribblePrompt 相较于现有方法将标注时间减少了28%。
• 当使用真实用户提供的草图时，该框架相比基线方法将Dice分数提高了15%。
• 它可在单个CPU上实现实时推理，使其在临床和研究部署中具有实际可行性。
• 该模型在包括MRI、CT、X光、OCT和显微镜在内的多种成像模态的12个未见过的数据集上表现出有效的泛化能力。
• 在所有评估类型中表现均持续优越：人工收集的草图、模拟交互和用户研究。
• 在训练期间使用合成草图增强显著提升了模型对真实世界用户输入差异的鲁棒性。