[论文解读] UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images

Zhe Chen, Qing Xu+2 more|arXiv (Cornell University)|Feb 26, 2024

Scientific Research and Discoveries被引用 8

一句话总结

UN-SAM 提出了一种无提示的核细胞核分割框架，含领域自适应微调编码器、多尺度自提示生成以及领域查询增强解码器，以实现跨领域强泛化能力，包括零样本性能，无需手动提示。

ABSTRACT

In digital pathology, precise nuclei segmentation is pivotal yet challenged by the diversity of tissue types, staining protocols, and imaging conditions. Recently, the segment anything model (SAM) revealed overwhelming performance in natural scenarios and impressive adaptation to medical imaging. Despite these advantages, the reliance of labor-intensive manual annotation as segmentation prompts severely hinders their clinical applicability, especially for nuclei image analysis containing massive cells where dense manual prompts are impractical. To overcome the limitations of current SAM methods while retaining the advantages, we propose the Universal prompt-free SAM framework for Nuclei segmentation (UN-SAM), by providing a fully automated solution with remarkable generalization capabilities. Specifically, to eliminate the labor-intensive requirement of per-nuclei annotations for prompt, we devise a multi-scale Self-Prompt Generation (SPGen) module to revolutionize clinical workflow by automatically generating high-quality mask hints to guide the segmentation tasks. Moreover, to unleash the generalization capability of SAM across a variety of nuclei images, we devise a Domain-adaptive Tuning Encoder (DT-Encoder) to seamlessly harmonize visual features with domain-common and domain-specific knowledge, and further devise a Domain Query-enhanced Decoder (DQ-Decoder) by leveraging learnable domain queries for segmentation decoding in different nuclei domains. Extensive experiments prove that UN-SAM with exceptional performance surpasses state-of-the-arts in nuclei instance and semantic segmentation, especially the generalization capability in zero-shot scenarios. The source code is available at https://github.com/CUHK-AIM-Group/UN-SAM.

研究动机与目标

• 解决无需大量人工提示即可实现自动且高质量的细胞核分割的需求。
• 在多样的组织类型、染色方案和成像条件下实现鲁棒的泛化。
• 在保持语义与实例任务高分割准确性的同时，消除对每个细胞核的逐一标注要求。

提出的方法

• Domain-adaptive Tuning Encoder (DT-Encoder) 向冻结的 SAM 编码器添加域通用嵌入和域特定嵌入，以统一核领域之间的特征。
• Multi-scale Self-Prompt Generation (SPGen) 能够从多尺度的 DT-Encoder 特征自动生成高质量的掩码提示，以指导解码。
• Domain Query-enhanced Decoder (DQ-Decoder) 使用域特定查询嵌入和自提示，在跨领域情境中细化分割。
• 一个简单的两项损失函数将 focal loss 和 dice loss 结合用于分割训练。
• 训练按域进行，并继承域通用嵌入以促进持续学习。

实验结果

研究问题

• RQ1 UN-SAM 是否能够在没有任何手动提示的情况下实现对细胞核的准确语义与实例分割？
• RQ2 域自适应编码器和域感知解码器在多样的核图像域上（包括零样本场景）有多强的泛化能力？
• RQ3 来自多尺度特征的自生成提示相较于手动提示，是否能为分割提供可靠的引导？
• RQ4 域特定嵌入与域通用嵌入对核分割的跨域泛化有何影响？

主要发现

• UN-SAM 在多个核分割基准上实现了最先进或具竞争力的结果，且无需手动提示。
• DT-Encoder 通过在保持 SAM 冻结的同时引入域通用与域特定嵌入，实现有效的跨域特征调优。
• SPGen 能从多尺度特征生成高质量的自提示，减少假阳性并引导准确分割。
• 带有域查询的 DQ-Decoder 提升了跨核领域的解码，在语义与实例分割中提高了泛化能力。
• 在零样本泛化测试中，UN-SAM 相比若干医学领域的 SAM 基线显示出显著性能提升。
• 在跨域实验中，UN-SAM 展现出强泛化能力，即使在对不同域进行微调时也具有竞争力甚至优于其他方法。