[论文解读] Segment Any Cell: A SAM-based Auto-prompting Fine-tuning Framework for Nuclei Segmentation

Saiyang Na, Yuzhi Guo+3 more|arXiv (Cornell University)|Jan 24, 2024

Artificial Intelligence in Healthcare and Education被引用 9

一句话总结

SAC 通过在 SAM 中整合一个低秩注意力适配器（LoRA）和一个自动提示生成器，提升核细胞分割的性能，在 MoNuSeg 和 DSB 数据集上实现了自动提示的最先进成果。

ABSTRACT

In the rapidly evolving field of AI research, foundational models like BERT and GPT have significantly advanced language and vision tasks. The advent of pretrain-prompting models such as ChatGPT and Segmentation Anything Model (SAM) has further revolutionized image segmentation. However, their applications in specialized areas, particularly in nuclei segmentation within medical imaging, reveal a key challenge: the generation of high-quality, informative prompts is as crucial as applying state-of-the-art (SOTA) fine-tuning techniques on foundation models. To address this, we introduce Segment Any Cell (SAC), an innovative framework that enhances SAM specifically for nuclei segmentation. SAC integrates a Low-Rank Adaptation (LoRA) within the attention layer of the Transformer to improve the fine-tuning process, outperforming existing SOTA methods. It also introduces an innovative auto-prompt generator that produces effective prompts to guide segmentation, a critical factor in handling the complexities of nuclei segmentation in biomedical imaging. Our extensive experiments demonstrate the superiority of SAC in nuclei segmentation tasks, proving its effectiveness as a tool for pathologists and researchers. Our contributions include a novel prompt generation strategy, automated adaptability for diverse segmentation tasks, the innovative application of Low-Rank Attention Adaptation in SAM, and a versatile framework for semantic segmentation challenges.

研究动机与目标

• 通过解决基于 SAM 的方法中的提示质量瓶颈来提升核分割。
• 开发应用于 SAM 的 transformer 的基于 LoRA 的微调机制，以实现高效适配。
• 创建自动提示生成器，用于为核分割生成高质量的正/负提示。
• 展示自动提示与现有微调与适配方法的兼容性。
• 展示 SAC 在核分割之外的语义分割任务中的通用性。

提出的方法

• 在 SAM 的 ViT 注意力层中通过修改 Q 与 V 矩阵（保持 K 不变）来应用低秩注意力适配器（LoRA）。
• 引入一个基于 UNet 的自动提示生成器，使用 BCE 目标从图像中生成高质量提示。
• 使用带有 LoRA 的冻结 SAM 图像编码器，以及将自动提示输入到可训练的 SAM 掩码解码器以进行分割。
• 使用一个冻结的提示编码器来处理生成的或专家提示；最终掩码来自 SAM 掩码解码器。
• 在需要时提供一个可选的手动提示推理路径以辅助分割。

实验结果

研究问题

• RQ1 基于 LoRA 的对 SAM 的微调是否能在不增加参数数量的情况下改善核分割？
• RQ2 与仅靠专家提示相比，自动提示生成是否提高了分割质量？
• RQ3 基于质心的提示选择与直接基于概率的提示选择如何影响分割性能？
• RQ4 SAC 是否可适用于核分割之外的不同语义分割任务？
• RQ5 提示数量和质量对基于 SAM 的核分割性能有何影响？

主要发现

• SAC 在 MoNuSeg 和 DSB 数据集上，相较基线（包括基于 SAM 的变体和若干 CNN/Transformer 方法），在 Dice、IoU、F1 等分割分数上取得优越表现。
• 零样本 SAM（1-expert）相较于微调方法表现较差，而具 LoRA 与自动提示的 SAC 在各项指标上均优于 SAM-FT 与 MSA。
• 基于 LoRA 的 SAM 微调配合自动提示达到比 MSA 更高的 Dice 和 IoU，显示在不增加参数的情况下的高效性和有效性。
• 增量式自动提示（点）叠加少量专家提示可提升性能；在较大点数下，基于质心的提示选择优于直接基于概率的选择。
• SAC 相较于 SAM-FT 和 MSA 能更快收敛到 Dice，同时总体可训练参数相近或更少，凸显效率。