[论文解读] Segmentation of Skin Lesions and their Attributes Using Multi-Scale Convolutional Neural Networks and Domain Specific Augmentations

Mostafa Jahanifar, Neda Zamani Tajeddin+3 more|arXiv (Cornell University)|Sep 23, 2018

Cutaneous Melanoma Detection and Management参考文献 57被引用 23

一句话总结

该论文提出了一种基于迁移学习的多尺度U-Net架构，结合特定领域的数据增强方法，以实现对皮肤病变及其皮肤镜特征（如色素网络、小体、条纹）的精确分割。通过利用预训练编码器、金字塔池化以及模拟真实皮肤镜伪影的自定义增强技术，该方法在ISIC 2016、2017和2018挑战赛中取得了最先进性能，在ISIC2018属性检测任务中排名第一，AUC达到0.975。

ABSTRACT

Computer-aided diagnosis systems for classification of different type of skin lesions have been an active field of research in recent decades. It has been shown that introducing lesions and their attributes masks into lesion classification pipeline can greatly improve the performance. In this paper, we propose a framework by incorporating transfer learning for segmenting lesions and their attributes based on the convolutional neural networks. The proposed framework is based on the encoder-decoder architecture which utilizes a variety of pre-trained networks in the encoding path and generates the prediction map by combining multi-scale information in decoding path using a pyramid pooling manner. To address the lack of training data and increase the proposed model generalization, an extensive set of novel domain-specific augmentation routines have been applied to simulate the real variations in dermoscopy images. Finally, by performing broad experiments on three different data sets obtained from International Skin Imaging Collaboration archive (ISIC2016, ISIC2017, and ISIC2018 challenges data sets), we show that the proposed method outperforms other state-of-the-art approaches for ISIC2016 and ISIC2017 segmentation task and achieved the first rank on the leader-board of ISIC2018 attribute detection task.

研究动机与目标

• 通过将病变和属性掩码整合到分类流程中，提升皮肤病变和属性分割的准确性。
• 通过新颖的、具有临床启发性的数据增强技术，解决皮肤镜成像中的数据稀缺性和领域偏移问题。
• 利用迁移学习和多尺度特征融合，开发一种稳健且可泛化的分割框架。
• 在ISIC基准数据集上，实现皮肤病变和属性分割任务的最先进性能。

提出的方法

• 采用基于预训练主干网络（如DenseNet169）的编码器-解码器U-Net架构进行特征提取。
• 在解码路径中使用多尺度卷积模块和金字塔池化，以捕捉精细和粗糙的空间细节。
• 应用一系列实时生成的、特定领域的数据增强方法，包括毛发遮挡、对比度/锐度调整以及光照梯度失真。
• 通过五折交叉验证训练模型，以减少过拟合并优化超参数。
• 启用测试时增强和模型集成，以提升鲁棒性和预测一致性。
• 应用最优阈值化方法，将原始模型输出转换为二值分割掩码。

实验结果

研究问题

• RQ1 将病变和属性掩码整合是否能提升皮肤病变分类系统的性能？
• RQ2 特定领域的数据增强技术在提升皮肤镜图像分割鲁棒性方面有多有效？
• RQ3 使用预训练模型的迁移学习与多尺度特征融合是否能在病变和属性分割任务中超越现有方法？
• RQ4 自定义增强技术在提升罕见或低对比度属性（如阴性网络和条纹）的模型泛化能力方面有多大作用？

主要发现

• 所提方法在ISIC 2016和ISIC 2017病变分割任务中均取得了最先进性能。
• 在ISIC 2018属性检测挑战中排名第一，展现出在多种属性类型上的卓越泛化能力。
• 使用特定领域的增强技术使阴性网络属性的AUC提升了1.3%（达到0.975），该结构尤为困难且罕见。
• 由于针对性增强，该模型在小尺寸、低对比度属性（如色素网络、小体和条纹）上也表现出高精度。
• 测试时增强和模型集成进一步提升了预测的可靠性和鲁棒性。
• 该框架每模型收敛时间不足70个周期，相比从零开始训练显著缩短了训练时间。