[论文解读] Skin lesion segmentation and classification using deep learning and handcrafted features

Redha Ali, Hussin K. Ragb|arXiv (Cornell University)|Dec 20, 2021

Cutaneous Melanoma Detection and Management被引用 6

一句话总结

本文提出了一种新颖的混合深度学习框架，在训练过程中将手工设计的特征注入预训练卷积神经网络（ResNet-50 和 DenseNet-201）的全连接层，以提升皮肤病变分割与多类别分类性能。该方法在 ISIC 2018 数据集上实现了 92.3% 的平衡准确率，较基线模型高出 6.8%，证明了特征注入可有效增强特征判别力与分类性能。

ABSTRACT

Accurate diagnostics of a skin lesion is a critical task in classification dermoscopic images. In this research, we form a new type of image features, called hybrid features, which has stronger discrimination ability than single method features. This study involves a new technique where we inject the handcrafted features or feature transfer into the fully connected layer of Convolutional Neural Network (CNN) model during the training process. Based on our literature review until now, no study has examined or investigated the impact on classification performance by injecting the handcrafted features into the CNN model during the training process. In addition, we also investigated the impact of segmentation mask and its effect on the overall classification performance. Our model achieves an 92.3% balanced multiclass accuracy, which is 6.8% better than the typical single method classifier architecture for deep learning.

研究动机与目标

• 通过深度学习与手工设计特征的新型融合，提升皮肤镜图像中皮肤病变分类的准确性。
• 探究在训练过程中将手工设计特征注入卷积神经网络全连接层的影响，这是一种此前未被探索的新技术。
• 评估分割掩码对皮肤癌诊断流程中整体分类性能的影响。
• 开发一种计算效率高的混合模型，以超越单一方法特征提取的判别能力。
• 证明集成学习在多类别皮肤病变分类中使用混合模型的有效性。

提出的方法

• 作者提出‘混合特征’——即深度学习特征与手工设计特征（如颜色、纹理、形状）的融合，以增强特征判别能力。
• 提出一种新颖的训练策略，在反向传播过程中直接将手工设计特征注入预训练卷积神经网络（ResNet-50 和 DenseNet-201）的全连接层。
• 数据预处理包括使用灰度阴影法（p=6）进行颜色恒常性处理，以标准化皮肤镜图像间的光照差异。
• 模型采用 ImageNet 预训练主干网络进行迁移学习，并在 ISIC 2018 皮肤镜数据集上进行微调，用于分割与分类任务。
• 通过构建两个混合模型（ResNet-50 与 DenseNet-201）的集成，提升性能，利用预测结果的投票或平均策略。
• 性能评估基于 70/30 训练-测试划分下的平衡准确率（BACC）、特异性（SPEC）、敏感性（SENS）、准确率与 AUC。

实验结果

研究问题

• RQ1 在训练过程中将手工设计特征注入卷积神经网络的全连接层，是否能提升皮肤病变分类的准确性？
• RQ2 所提出的混合特征表示相较于单一方法特征（深度学习或手工设计）在判别能力方面表现如何？
• RQ3 在皮肤癌诊断流程中，分割掩码对最终分类性能有何影响？
• RQ4 混合模型的集成学习是否能进一步提升分类性能，超越单个混合模型？
• RQ5 所提出方法与 ISIC 2018 皮肤病变分类基准中的标准迁移学习基线相比表现如何？

主要发现

• 混合模型的集成实现了 92.3% 的平衡准确率，较最佳基线模型高出 6.8%。
• 混合 ResNet-50 模型实现了 88.2% 的平衡准确率，较标准 ResNet-50（85.2%）提升 3%。
• 混合 DenseNet-201 模型实现了 89.4% 的平衡准确率，较标准 DenseNet-201（85.5%）提升 3.9%。
• 集成模型的敏感性为 87.5%，特异性为 97.1%，表明在所有类别上均表现优异。
• 集成模型的 AUC 得分为 0.977，表明不同皮肤病变类型之间具有高度可分性。
• 研究证实，在训练过程中将手工设计特征注入全连接层能显著提升分类性能，验证了所提出的混合训练策略的有效性。