[论文解读] Self-Supervision with Superpixels: Training Few-shot Medical Image Segmentation without Annotation

Cheng Ouyang, Carlo Biffi+4 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 73被引用 15

一句话总结

该论文提出SSL-ALPNet，一种自监督少样本医学图像分割框架，通过使用基于超像素的伪标签和自适应局部原型池化模块，消除了对手动标注的依赖。该方法在腹部CT和MRI上实现了最先进性能，在平均Dice分数上比完全监督的FSS基线方法高出25%以上，且无需任何人工标注的训练数据。

ABSTRACT

Few-shot semantic segmentation (FSS) has great potential for medical imaging applications. Most of the existing FSS techniques require abundant annotated semantic classes for training. However, these methods may not be applicable for medical images due to the lack of annotations. To address this problem we make several contributions: (1) A novel self-supervised FSS framework for medical images in order to eliminate the requirement for annotations during training. Additionally, superpixel-based pseudo-labels are generated to provide supervision; (2) An adaptive local prototype pooling module plugged into prototypical networks, to solve the common challenging foreground-background imbalance problem in medical image segmentation; (3) We demonstrate the general applicability of the proposed approach for medical images using three different tasks: abdominal organ segmentation for CT and MRI, as well as cardiac segmentation for MRI. Our results show that, for medical image segmentation, the proposed method outperforms conventional FSS methods which require manual annotations for training.

研究动机与目标

• 解决训练少样本分割模型时标注医学图像有限的关键挑战。
• 通过利用自监督学习，消除对昂贵且耗时的人工标注的依赖。
• 通过改进局部表示学习，克服医学图像中前景-背景类别不平衡问题。
• 仅使用推理时的少量标注样本，实现对未见解剖结构或病灶的泛化能力。
• 开发一种鲁棒的、无需标注的训练范式，适用于多种医学影像模态（CT、MRI）。

提出的方法

• 从无标注医学图像中生成基于超像素的伪标签，以构建自监督的预训练任务。
• 将自监督任务表述为“一个超像素对抗其余所有像素”的分割任务，以增强特征可分性。
• 在支持集和查询图像之间应用随机几何和强度变换，以强制实现表示不变性。
• 引入自适应局部原型池化（ALP）模块，为每类提取多个局部表示，尤其适用于大面积背景区域。
• 将ALP模块嵌入原型网络中，以保留类内空间可变性并减少边界模糊性。
• 通过在自监督任务上使用对比损失端到端训练整个网络，从而实现对真实语义类别的泛化能力。

实验结果

研究问题

• RQ1 使用基于超像素的伪标签进行自监督学习，能否在不使用任何人工标注数据的情况下有效训练少样本分割模型？
• RQ2 在存在极端前景-背景类别不平衡的情况下，自适应局部原型池化如何提升分割性能？
• RQ3 所提出方法在未见解剖结构或病灶上的泛化能力达到何种程度，这些结构或病灶在训练期间未被见过？
• RQ4 在支持集和查询图像之间应用随机数据增强（几何和强度变换）如何影响所学表示的鲁棒性和泛化能力？
• RQ5 用于伪标签化的超像素粒度最优值是什么，以使其与医学图像中真实语义对象尺度相匹配？

主要发现

• 尽管训练过程中未使用任何人工标注，所提出的SSL-ALPNet在三个医学影像任务上的平均Dice分数上比完全监督的最先进FSS方法高出25.1%。
• 在Abd-CT数据集的设置2下，该方法实现了63.02的平均Dice分数，显著优于次优方法SSL-PANet的59.31。
• 消融实验表明，自监督学习和自适应局部原型池化均独立且协同地贡献于性能提升。
• 在支持集和查询图像之间同时应用几何和强度变换可获得最高性能（63.02的平均Dice），证明了其在实现表示不变性方面的重要性。
• 最小尺寸为400像素的伪标签可实现最优性能，表明超像素粒度必须足够精细以捕捉解剖细节，但又不能过细以致破坏语义聚类。
• 模型对未见类别具有良好的泛化能力，表现为在不同器官和成像协议下表现一致，包括存在大病灶的挑战性病例。