[论文解读] Semi-supervised Skin Lesion Segmentation via Transformation Consistent Self-ensembling Model

Xiaomeng Li, Lequan Yu+3 more|arXiv (Cornell University)|Aug 12, 2018

Cutaneous Melanoma Detection and Management被引用 30

一句话总结

本文提出了一种基于变换一致性自集成模型的半监督皮肤病变分割方法，利用未标注的皮肤镜图像在极少标注数据下提升性能。通过在旋转、翻转等数据增强下强制保持预测一致性，该方法仅使用300个标注样本就在ISIC 2017基准上实现了最先进性能，超越了使用2,000个标注样本训练的完全监督模型。

ABSTRACT

Automatic skin lesion segmentation on dermoscopic images is an essential component in computer-aided diagnosis of melanoma. Recently, many fully supervised deep learning based methods have been proposed for automatic skin lesion segmentation. However, these approaches require massive pixel-wise annotation from experienced dermatologists, which is very costly and time-consuming. In this paper, we present a novel semi-supervised method for skin lesion segmentation by leveraging both labeled and unlabeled data. The network is optimized by the weighted combination of a common supervised loss for labeled inputs only and a regularization loss for both labeled and unlabeled data. In this paper, we present a novel semi-supervised method for skin lesion segmentation, where the network is optimized by the weighted combination of a common supervised loss for labeled inputs only and a regularization loss for both labeled and unlabeled data. Our method encourages a consistent prediction for unlabeled images using the outputs of the network-in-training under different regularizations, so that it can utilize the unlabeled data. To utilize the unlabeled data, our method encourages the consistent predictions of the network-in-training for the same input under different regularizations. Aiming for the semi-supervised segmentation problem, we enhance the effect of regularization for pixel-level predictions by introducing a transformation, including rotation and flipping, consistent scheme in our self-ensembling model. With only 300 labeled training samples, our method sets a new record on the benchmark of the International Skin Imaging Collaboration (ISIC) 2017 skin lesion segmentation challenge. Such a result clearly surpasses fully-supervised state-of-the-arts that are trained with 2000 labeled data.

研究动机与目标

• 通过减少对大规模标注数据集的依赖，降低皮肤镜图像像素级分割的高标注成本。
• 提高模型对临床皮肤镜图像中常见模糊或噪声标注的鲁棒性。
• 通过自集成方法有效利用未标注的皮肤镜图像，增强深度神经网络的特征学习能力。
• 为医学影像像素级分割任务设计一种针对变换一致性的正则化方案。

提出的方法

• 使用标注数据的加权监督损失与标注及未标注数据的无监督正则化损失的组合来训练深度神经网络。
• 通过最小化不同数据增强（如旋转、翻转）下输入变换前后预测结果的差异，强制实现预测一致性。
• 提出一种变换一致性方案，确保预测结果与输入图像以相同方式变换，从而保持空间对齐。
• 通过自集成方法，促使模型在不同增强下对同一图像产生一致输出，起到正则化作用。
• 将数据增强（如随机旋转、翻转）作为无监督损失的一部分，以提升泛化能力和鲁棒性。
• 利用一致性损失对预测进行正则化，即使在真实标签模糊的情况下也能提升对噪声标签的容忍度。

实验结果

研究问题

• RQ1 具有变换一致性的自集成框架是否能通过有限的标注数据提升半监督皮肤病变分割性能？
• RQ2 变换一致性（如旋转、翻转）在正则化医学图像分割的像素级预测方面有多有效？
• RQ3 未标注的皮肤镜图像在多大程度上能提升模型的泛化能力与对模糊标注的鲁棒性？
• RQ4 当使用显著更少的标注样本时，所提方法是否能超越完全监督的最先进模型？

主要发现

• 所提半监督方法在ISIC 2017测试集上仅使用300张标注图像即达到79.8%的Jaccard指数（JA），超越了使用2,000张标注图像训练的完全监督最先进方法（76.5%）。
• 当使用50张标注图像与1,950张未标注图像时，JA提升了2.46%，优于先前的半监督方法（Bai et al. 和 Hung et al.）分别仅提升1.55%和0.87%。
• 无监督损失提供了强正则化效果，即使在全部2,000张图像均使用时，JA仍从79.60%提升至80.02%，表明对标签噪声具有更强的鲁棒性。
• 该模型在DI（Dice）、SE（敏感性）和SP（特异性）上表现更优，分别较最先进基线模型提升2.5%、5.4%和1.6%。
• 变换一致性自集成方案有效降低了对模糊标签的敏感性，体现在对困难病例的性能提升保持一致。
• 该方法在不同数据划分下泛化良好，并在多个评估指标上均表现出一致的性能提升，证实了其鲁棒性与可扩展性。