[论文解读] Self-Paced Contrastive Learning for Semi-supervised Medical Image Segmentation with Meta-labels

Jizong Peng, Ping Wang+2 more|arXiv (Cornell University)|Jul 29, 2021

Domain Adaptation and Few-Shot Learning被引用 29

一句话总结

本文提出了一种自定进度对比学习框架，利用医学影像中的元标签对编码器进行预训练并对半监督分割进行正则化，在标注扫描非常少的情况下提升性能。

ABSTRACT

Pre-training a recognition model with contrastive learning on a large dataset of unlabeled data has shown great potential to boost the performance of a downstream task, e.g., image classification. However, in domains such as medical imaging, collecting unlabeled data can be challenging and expensive. In this work, we propose to adapt contrastive learning to work with meta-label annotations, for improving the model's performance in medical image segmentation even when no additional unlabeled data is available. Meta-labels such as the location of a 2D slice in a 3D MRI scan or the type of device used, often come for free during the acquisition process. We use the meta-labels for pre-training the image encoder as well as to regularize a semi-supervised training, in which a reduced set of annotated data is used for training. Finally, to fully exploit the weak annotations, a self-paced learning approach is used to help the learning and discriminate useful labels from noise. Results on three different medical image segmentation datasets show that our approach: i) highly boosts the performance of a model trained on a few scans, ii) outperforms previous contrastive and semi-supervised approaches, and iii) reaches close to the performance of a model trained on the full data.

研究动机与目标

• 在标注数据稀缺且未标注数据有限或不可用时，推动医学图像分割的改进。
• 利用免费获取的元标签（例如切片位置、患者ID、心动相）来改进表示学习。
• 提出一种自定进度对比损失，处理嘈杂的元标签并联合优化编码器表示和标签驱动权重。
• 证明将元标签预训练与半监督学习以及Mean Teacher结合可进一步提升分割精度。
• 展示所提出的方法在多个人体影像数据集上优于现有的对比学习和半监督方法。

提出的方法

• 定义一个对比损失，将元标签作为弱监督，通过将具有相同元标签或来自同一原始图像的增强样本分组来实现。
• 引入一个自定进度正则化器，为正样本对分配自适应权重，以减轻标签噪声并逐步包含更难的样本。
• 在硬SPL和线性SPL正则化下，为加权正样本提供闭式解以引导权重更新。
• 将多种元标签对比损失组合成带权重的单一目标，并通过加入监督损失和正则化损失（Mean Teacher）将框架扩展到半监督分割，将SP Con损失作为正则化。
• 使用带投影头的编码器-解码器（U-Net）进行对比嵌入；先对编码器进行预训练，然后在半监督设置下使用有限的标注数据进行微调。
• 在训练过程中按照 epoch 调整自定进度的 gamma，以平衡高信度和低信度对的包含。

实验结果

研究问题

• RQ1 是否可以在自定进度对比框架中有效使用医学影像的元标签，以在少量标签下改善分割？
• RQ2 对比正样本的自定进度加权是否能够减轻弱元标签中的噪声并提升下游分割的表示？
• RQ3 在预训练阶段结合多元标签对最终分割性能的影响是什么？
• RQ4 将对比元标签学习作为半监督训练中的正则化（如配合 Mean Teacher）是否能将性能提升至接近完全监督水平？

主要发现

• 带元标签的自定进度对比学习在有限标签的基线监督训练之上提升了分割性能。
• 使用元标签对比损失进行预训练在跨数据集上优于无监督对比预训练。
• 结合多元标签比使用单一元标签获得更好的结果。
• 将 SP-Con 损失同时用于预训练和半监督正则化，并可选地使用 Mean Teacher，尽管带标注的扫描很少，但使性能更接近完全监督训练。
• 线性自定进度正则化通常比硬正则化带来更强的提升。
• 在三组数据集上，该方法在低标签场景下优于现有的对比学习和半监督方法。