[论文解读] ScribFormer: Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation

Zihan Li, Zheng Yuan+7 more|arXiv (Cornell University)|Feb 3, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用 3

一句话总结

ScribFormer 提出了一种新颖的 CNN-Transformer 混合架构，用于草图监督的医学图像分割，通过浅层和深层 Transformer 块的多尺度注意力机制，增强局部与全局特征学习。该方法在 ACDC、MSCMRseg 和 HeartUII 数据集上实现了最先进性能，Dice 分数最高达 0.833。

ABSTRACT

Most recent scribble-supervised segmentation methods commonly adopt a CNN framework with an encoder-decoder architecture. Despite its multiple benefits, this framework generally can only capture small-range feature dependency for the convolutional layer with the local receptive field, which makes it difficult to learn global shape information from the limited information provided by scribble annotations. To address this issue, this paper proposes a new CNN-Transformer hybrid solution for scribble-supervised medical image segmentation called ScribFormer. The proposed ScribFormer model has a triple-branch structure, i.e., the hybrid of a CNN branch, a Transformer branch, and an attention-guided class activation map (ACAM) branch. Specifically, the CNN branch collaborates with the Transformer branch to fuse the local features learned from CNN with the global representations obtained from Transformer, which can effectively overcome limitations of existing scribble-supervised segmentation methods. Furthermore, the ACAM branch assists in unifying the shallow convolution features and the deep convolution features to improve model's performance further. Extensive experiments on two public datasets and one private dataset show that our ScribFormer has superior performance over the state-of-the-art scribble-supervised segmentation methods, and achieves even better results than the fully-supervised segmentation methods. The code is released at https://github.com/HUANGLIZI/ScribFormer.

研究动机与目标

• 解决 CNN 在从稀疏草图标注中捕捉全局形状信息方面的局限性。
• 克服弱监督方法因噪声和不完整的草图标签而导致的泛化能力差的问题。
• 整合 CNN（局部特征提取）与 Transformer（长距离依赖建模）的优势，以在弱监督设置下提升分割性能。
• 通过仅使用草图级监督实现高性能分割，减少对昂贵像素级标注的依赖。
• 构建一个统一框架，通过注意力引导的特征优化，在多个网络深度上增强特征表示能力。

提出的方法

• 提出三分支架构：一个 CNN 分支用于局部特征学习，一个 Transformer 分支用于全局上下文建模，以及一个注意力引导的类别激活图（ACAM）分支用于特征融合。
• 利用浅层 Transformer 块的注意力权重来优化低层卷积特征，提升空间细节保留能力。
• 利用深层 Transformer 块的注意力权重来引导高层语义特征和 ACAM 的优化，增强全局形状一致性。
• 通过交叉注意力机制融合 CNN 与 Transformer 分支的特征，结合局部细节与全局上下文信息。
• 引入 ACAM 分支，通过基于注意力的聚合方式统一浅层与深层卷积特征，提升特征表示质量。
• 在稀疏草图标注上使用标准分割损失（如 Dice 损失）端到端训练模型，避免对完整掩码的依赖。

实验结果

研究问题

• RQ1 与纯 CNN 相比，混合 CNN-Transformer 架构是否能提升草图监督医学图像分割中的全局形状学习能力？
• RQ2 Transformer 不同深度层级的注意力图如何在弱监督设置下分别优化局部与全局特征？
• RQ3 CNN 与 Transformer 分支之间的注意力引导特征融合是否优于标准的特征拼接或逐元素操作？
• RQ4 当仅使用草图标注进行训练时，所提方法是否能达到或超越完全监督方法的性能？
• RQ5 架构设计选择（如三分支结构、基于注意力的优化）对模型推理鲁棒性与方差的影响如何？

主要发现

• 在 HeartUII 数据集上，ScribFormer 达到 0.833 的 Dice 分数（95% 置信区间：0.808–0.854），显著优于所有对比方法，包括 UNet++ 和 CycleMix S。
• 与 UNet pce 和 UNet ustr 相比，p 值小于 10^-9，表明分割性能的提升具有统计显著性。
• 尽管在部分比较中 p 值不显著（如 UNet crf 和 CycleMix S），ScribFormer 仍表现出更窄的 95% 置信区间和更高的中位数性能，表明其具有更强的鲁棒性。
• ScribFormer 在相同数据集上超越了完全监督的 UNet++，证明在结合基于注意力的特征学习时，仅使用草图的弱监督学习也能实现最先进性能。
• 消融实验确认，浅层与深层 Transformer 注意力头各自发挥独特作用：浅层头提升空间细节，深层头增强语义一致性。
• 箱线图分析显示，ScribFormer 的推理方差低于 CycleMix S，表现为更紧密的置信区间和更高的中位数性能。