[论文解读] Transformation Consistent Self-ensembling Model for Semi-supervised Medical Image Segmentation

Xiaomeng Li, Lequan Yu+4 more|arXiv (Cornell University)|Feb 28, 2019

Retinal Imaging and Analysis参考文献 66被引用 33

一句话总结

本文提出 TCSM_v2，一种半监督医学图像分割方法，通过教师-学生 EMA 框架强制 transformation-consistent 预测，在 ISIC 2017、REFUGE 和 LiTS 数据集上进行评估。

ABSTRACT

Deep convolutional neural networks have achieved remarkable progress on a variety of medical image computing tasks. A common problem when applying supervised deep learning methods to medical images is the lack of labeled data, which is very expensive and time-consuming to be collected. In this paper, we present a novel semi-supervised method for medical image segmentation, where the network is optimized by the weighted combination of a common supervised loss for labeled inputs only and a regularization loss for both labeled and unlabeled data. To utilize the unlabeled data, our method encourages the consistent predictions of the network-in-training for the same input under different regularizations. Aiming for the semi-supervised segmentation problem, we enhance the effect of regularization for pixel-level predictions by introducing a transformation, including rotation and flipping, consistent scheme in our self-ensembling model. With the aim of semi-supervised segmentation tasks, we introduce a transformation consistent strategy in our self-ensembling model to enhance the regularization effect for pixel-level predictions. We have extensively validated the proposed semi-supervised method on three typical yet challenging medical image segmentation tasks: (i) skin lesion segmentation from dermoscopy images on International Skin Imaging Collaboration (ISIC) 2017 dataset, (ii) optic disc segmentation from fundus images on Retinal Fundus Glaucoma Challenge (REFUGE) dataset, and (iii) liver segmentation from volumetric CT scans on Liver Tumor Segmentation Challenge (LiTS) dataset. Compared to the state-of-the-arts, our proposed method shows superior segmentation performance on challenging 2D/3D medical images, demonstrating the effectiveness of our semi-supervised method for medical image segmentation.

研究动机与目标

• 在医学影像中用有限标注数据进行分割学习的动机。
• 提出一个半监督框架，将对标注数据的有监督损失与对标注数据和未标注数据的正则化损失相结合。
• 引入一种像素级预测的变换一致性自集成策略。
• 将变换正则化扩展到带缩放和教师模型，以提升目标和鲁棒性。

提出的方法

• 对标注数据的有监督损失与对标注数据和未标注数据的正则化损失的加权组合。
• 引入变换一致性正则化，强制输入空间与输出空间变换下的预测一致性（旋转、翻转、缩放）。
• 使用一个教师模型，即学生模型的指数移动平均（EMA），为一致性损失提供更好的目标。
• 加入额外扰动，如高斯噪声和 dropout，以丰富正则化。
• 将该方法适用于二维和三维分割网络（2D Dermoscopy/REFUGE 数据集用 DenseUNet；LiTS 使用3D U-Net）。
• 以随时间的渐增方式训练正则化权重，并将总损失优化为 L + lambda(T) R。

实验结果

研究问题

• RQ1 在标记数据有限的情况下， transformation-consistent 自集成是否能提升半监督分割性能？
• RQ2 旋转、翻转和缩放变换如何影响学生和教师预测之间的像素级分割一致性？
• RQ3 引入缩放变换和 EMA 教师是否能在2D和3D医学成像任务中改进正则化和准确性？
• RQ4 TCSM_v2 在多样模态下的表现如何，如皮肤病变的皮肤镜、眼底图像的视盘，以及体积CT的肝脏？

主要发现

Method	JA	DI	AC	SE	SP
Supervised	71.17	79.91	91.95	75.90	97.04
Supervised+regu	72.28	81.10	93.52	81.17	97.02
Ours	75.24	83.44	94.46	83.07	97.07

• TCSM_v2 在具有挑战性的2D和3D医学分割任务中，优于有监督基线和其他半监督方法。
• 消融研究显示变换一致性正则化，包括旋转、缩放以及噪声/ dropout，对性能提升贡献显著。
• 在2D皮肤镜实验中，该方法相较基线和消融，在多个指标（ JA、DI、AC、SE、SP）有提升。
• 该方法在 ISIC 2017 皮肤病变分割、REFUGE 视盘分割和 LiTS 肝脏分割数据集上均表现出有效性。
• 使用教师模型（学生的 EMA）为一致性损失提供更好的目标，提升正则化。