[论文解读] Semantic Segmentation of Skin Lesions using a Small Data Set

Beril Sırmaçek, Max Kivits|arXiv (Cornell University)|Oct 23, 2019

Cutaneous Melanoma Detection and Management参考文献 16被引用 4

一句话总结

本文提出一种基于41张智能手机拍摄图像的小样本数据集的皮肤病变语义分割方法。结果表明，采用预训练VGG16模型进行迁移学习的全卷积网络（FCN16/FCN32），结合数据裁剪与增强技术，在数据有限的情况下仍能实现最优性能，其准确率、交并比（IoU）和F1分数均优于随机初始化及更简单的网络结构。

ABSTRACT

Early detection of melanoma is difficult for the human eye but a crucial step towards reducing its death rate. Computerized detection of these melanoma and other skin lesions is necessary. The central research question in this paper is "How to segment skin lesion images using a neural network with low available data?". This question is divided into three sub questions regarding best performing network structure, training data and training method. First theory associated with these questions is discussed. Literature states that U-net CNN structures have excellent performances on the segmentation task, more training data increases network performance and utilizing transfer learning enables networks to generalize to new data better. To validate these findings in the literature two experiments are conducted. The first experiment trains a network on data sets of different size. The second experiment proposes twelve network structures and trains them on the same data set. The experimental results support the findings in the literature. The FCN16 and FCN32 networks perform best in the accuracy, intersection over union and mean BF1 Score metric. Concluding from these results the skin lesion segmentation network is a fully convolutional structure with a skip architecture and an encoder depth of either one or two. Weights of this network should be initialized using transfer learning from the pre trained VGG16 network. Training data should be cropped to reduce complexity and augmented during training to reduce the likelihood of overfitting.

研究动机与目标

• 解决在仅有有限标注数据的情况下训练高精度皮肤病变语义分割模型的挑战。
• 研究训练数据规模、网络架构及训练方法对低数据环境下分割性能的影响。
• 识别在鲁棒皮肤病变分割中网络结构、权重初始化与数据预处理的最佳组合。
• 通过使用最少的训练数据实现像素级病变精确定位，提升早期黑色素瘤的检测能力。

提出的方法

• 在来自智能手机相机的41张皮肤病变图像的小样本数据集上训练全卷积网络（FCN16、FCN32、FCN8及SGN变体）。
• 通过使用预训练VGG16网络的特征初始化网络权重，采用迁移学习以提升泛化能力。
• 应用数据增强与图像裁剪技术，以增加有效训练数据量并降低模型复杂度。
• 采用早停正则化策略以防止过拟合并减少训练时间。
• 通过交并比（IoU）、准确率和F1分数等指标，对比不同网络架构与训练策略的性能表现。
• 使用两个额外的公开数据集（分别包含126张和10张图像）进行对比分析与泛化能力评估。

实验结果

研究问题

• RQ1 训练数据集规模如何影响皮肤病变语义分割的性能与泛化能力？
• RQ2 在数据有限的情况下，哪种神经网络架构在皮肤病变语义分割任务中表现最佳？
• RQ3 训练方法的选择——特别是迁移学习与随机权重初始化——如何影响性能与训练效率？
• RQ4 在训练数据稀疏的情况下，哪些预处理技术能有效提升模型性能？

主要发现

• FCN32与FCN16网络在所有指标上均表现最佳，包括准确率、交并比（IoU）和平均F1分数。
• 使用VGG16部分预训练权重进行迁移学习，显著提升了特定任务与通用分割性能，优于随机初始化。
• 采用迁移学习训练的网络所需训练时间显著减少，且泛化能力更强，尤其在未见数据上表现更优。
• 对训练图像进行裁剪可提升模型泛化能力，其中在裁剪数据上训练的SGN3网络在新样本上表现更优。
• 在编码块中增加卷积层数量，比增加编码器深度更能有效提升性能。
• 将深层低层特征与高层处理特征通过跳跃连接结合的模型，优于将低层特征与更深度处理后的特征结合的模型。