[论文解读] ZScribbleSeg: Zen and the Art of Scribble Supervised Medical Image Segmentation

Ke Zhang, Xiahai Zhuang|arXiv (Cornell University)|Jan 12, 2023

Advanced Neural Network Applications被引用 4

一句话总结

ZScribbleSeg 提出了一种新颖的弱监督医学图像分割框架，通过利用高效的涂鸦标注和空间先验正则化，在最小化标注工作量的前提下实现了最先进性能。通过使用 mixup-occlusion 方法模拟多样的涂鸦模式，并引入一种新颖的类别混合比例估计方法以实现空间先验正则化，ZScribbleSeg 显著提升了分割精度，尤其在小样本数据集和不规则结构上表现突出，在 ACDC、MSCMRseg、MyoPS 和 PPSS 数据集上均优于现有方法。

ABSTRACT

Curating a large scale fully-annotated dataset can be both labour-intensive and expertise-demanding, especially for medical images. To alleviate this problem, we propose to utilize solely scribble annotations for weakly supervised segmentation. Existing solutions mainly leverage selective losses computed solely on annotated areas and generate pseudo gold standard segmentation by propagating labels to adjacent areas. However, these methods could suffer from the inaccurate and sometimes unrealistic pseudo segmentation due to the insufficient supervision and incomplete shape features. Different from previous efforts, we first investigate the principle of ''good scribble annotations'', which leads to efficient scribble forms via supervision maximization and randomness simulation. Furthermore, we introduce regularization terms to encode the spatial relationship and shape prior, where a new formulation is developed to estimate the mixture ratios of label classes. These ratios are critical in identifying the unlabeled pixels for each class and correcting erroneous predictions, thus the accurate estimation lays the foundation for the incorporation of spatial prior. Finally, we integrate the efficient scribble supervision with the prior into a unified framework, denoted as ZScribbleSeg, and apply the method to multiple scenarios. Leveraging only scribble annotations, ZScribbleSeg set new state-of-the-arts on four segmentation tasks using ACDC, MSCMRseg, MyoPS and PPSS datasets.

研究动机与目标

• 为解决全监督医学图像分割中高昂的标注成本，实现仅使用涂鸦级别标注进行训练。
• 提升弱监督分割中模型的鲁棒性与精度，尤其针对小样本数据集和不规则形态病灶。
• 开发一种系统化方法，生成高效涂鸦标注，以最小化标注工作量并最大化监督信号。
• 通过准确估计类别混合比例，将空间与形状先验整合到训练过程中。
• 仅使用涂鸦标注即实现与全监督方法相当的性能。

提出的方法

• 提出一种基于 mixup 和遮挡操作的监督增强策略，以模拟多样化、随机且广泛分布的涂鸦模式，从而最大化标注效率。
• 提出一种新颖的类别混合比例估计方法，用于计算标签类别的先验分布（π），从而实现对每类未标注像素的准确识别。
• 基于边缘概率与空间能量设计一种空间先验损失，用于正则化预测结果，纠正因监督不完整导致的形状偏差。
• 在统一框架 ZScribbleSeg 中结合增强的涂鸦监督与空间先验正则化，通过端到端深度学习进行训练。
• 提出一种新的空间能量公式，用于估计未标注像素属于各类别的可能性，而无需依赖模型预测结果。
• 采用深度神经网络（ZScribbleNet）联合优化监督增强与基于先验的正则化策略。

实验结果

研究问题

• RQ1 哪些特征定义了‘优质’的涂鸦标注，使其在最小标注成本下实现最大监督效率？
• RQ2 如何在不增加人工标注工作量的前提下，有效增强来自涂鸦的弱监督信号？
• RQ3 如何将空间与形状先验整合到弱监督分割中，以纠正不准确的预测结果？
• RQ4 在低监督条件下，准确估计类别混合比例（π）是否能提升分割性能？
• RQ5 结合监督增强与先验正则化的统一框架，是否能在多样化的医学与自然图像分割任务中实现良好泛化？

主要发现

• ZScribbleSeg 在四项多样化分割任务中均达到最先进性能：ACDC（86.2% ± 8.6% Dice）、MSCMRseg（87.0% ± 5.8% Dice）、MyoPS（63.6% ± 18.8% Dice）和 PPSS（83.8% ± 5.0% Dice）。
• 在 MyoPS 数据集上，该方法在不规则病灶分割且训练集较小的挑战性场景下，优于所有基线模型，包括 CycleMix 和 ShapePU，展现出卓越鲁棒性。
• 在 MyoPS 的水肿分割任务中，ZScribbleSeg 达到的 Hausdorff 距离（HD）分数与全监督的 FullSupUNet 相当，而其他方法因形状估计不佳而失败。
• 该方法在自然场景图像（PPSS）上也表现出良好泛化能力，Dice 分数与 FullSupUNet 相当，并在该领域创下涂鸦标注监督分割的新 SOTA 记录。
• 可视化结果表明，在复杂遮挡情况下，ZScribbleSeg 生成的分割结果比其他弱监督方法及全监督基线更少噪声、更具真实性。
• 消融实验验证了监督增强与空间先验正则化在性能上具有协同增益作用，其中类别混合比例估计在准确空间正则化中起关键作用。