[论文解读] Self-Loop Uncertainty: A Novel Pseudo-Label for Semi-Supervised Medical Image Segmentation

Yuexiang Li, Jiawei Chen+3 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Neural Network Applications参考文献 19被引用 11

一句话总结

本文提出自循环不确定性（self-loop uncertainty），一种用于半监督医学图像分割的新颖伪标签方法，通过循环自监督优化（如拼图任务）生成计算成本极低的可靠不确定性估计。通过将网络在不同训练迭代中的状态视为集成模型，该方法在减少推理时间的同时近似实现基于集成的不确定性估计，仅使用20%的标注数据即达到当前最优性能。

ABSTRACT

Witnessing the success of deep learning neural networks in natural image processing, an increasing number of studies have been proposed to develop deep-learning-based frameworks for medical image segmentation. However, since the pixel-wise annotation of medical images is laborious and expensive, the amount of annotated data is usually deficient to well-train a neural network. In this paper, we propose a semi-supervised approach to train neural networks with limited labeled data and a large quantity of unlabeled images for medical image segmentation. A novel pseudo-label (namely self-loop uncertainty), generated by recurrently optimizing the neural network with a self-supervised task, is adopted as the ground-truth for the unlabeled images to augment the training set and boost the segmentation accuracy. The proposed self-loop uncertainty can be seen as an approximation of the uncertainty estimation yielded by ensembling multiple models with a significant reduction of inference time. Experimental results on two publicly available datasets demonstrate the effectiveness of our semi-supervied approach.

研究动机与目标

• 解决基于深度学习的分割任务中受限标注医学图像的问题，其中像素级标注成本高且耗时长。
• 开发一种计算开销较低的替代方案，用于半监督学习中基于集成的不确定性估计伪标签化。
• 通过单个网络的循环优化近似集成不确定性，减少推理时间，同时保持或提升分割精度。
• 通过引入新颖的伪标签策略利用未标注数据，仅使用少量标注数据即可实现高性能分割。

提出的方法

• 通过使用自监督任务（如拼图）对全卷积网络（FCN）的编码器进行循环优化，生成自循环不确定性。
• 对每张图像生成 Q 种排列，并生成 Q 个分割预测；自循环不确定性通过这些预测之间的方差或不一致度计算得出。
• 采用多任务损失框架，联合训练标注数据和未标注数据，损失函数包括分割损失（L_SEG）、不确定性引导损失（L_UG）和自监督损失（L_SS）。
• L_SS 鼓励从未标注数据中学习特征，提升表示质量，增强伪标签的可靠性。
• 自循环不确定性作为未标注图像的伪标签，有效扩充训练集并提升分割性能。
• 该方法通过在优化步骤中复用同一网络，避免了真实集成方法所需的多次前向传播，显著降低推理成本。

实验结果

研究问题

• RQ1 对单个网络进行循环自监督优化，能否以显著降低的计算成本，近似实现基于集成的不确定性估计的可靠性？
• RQ2 在低监督设置下，自循环不确定性与现有伪标签（如Softmax概率图和MC dropout）相比，在分割精度方面表现如何？
• RQ3 整合自监督学习在多大程度上提升了伪标签质量和下游分割性能？
• RQ4 生成自循环不确定性时，最优排列数（Q）是多少？需在性能与计算效率之间取得平衡。

主要发现

• 在MoNuSeg数据集上，所提自循环不确定性仅使用20%标注数据即达到77.11%的F1分数，优于全监督基线模型（71.51%），提升5.6个百分点。
• 在ISIC数据集上，自循环不确定性使用20%标注数据达到84.92%的F1分数，使用50%标注数据达到86.17%，与使用100%标注数据的全监督模型性能相当。
• 该方法将推理成本降低至每张图像仅需一次前向传播，相比之下集成方法需10次前向传播，同时保持相当或更优的精度。
• 消融实验表明，增加排列数（Q）可提升性能，但当Q>6后增益趋缓，表明Q=6–10为性能与效率之间的实用权衡点。
• 移除自监督损失（L_SS）会显著降低性能，证实自监督在生成高质量不确定性估计中的关键作用。
• 该框架在MoNuSeg和ISIC两个数据集上均达到当前最优性能，展现出在不同医学影像任务中的强大泛化能力。