[论文解读] Skin Lesion Classification Using Hybrid Deep Neural Networks

Amirreza Mahbod, G. Bradley Schaefer+3 more|arXiv (Cornell University)|Feb 27, 2017

Cutaneous Melanoma Detection and Management参考文献 22被引用 7

一句话总结

本文提出了一种混合深度学习方法，用于皮肤病变分类，利用预训练的CNN（AlexNet、VGG16、ResNet-18）提取多层次特征，随后通过SVM进行分类并融合，以提升性能。该方法在ISIC 2017验证集上对黑色素瘤的AUC达到83.83%，对脂溢性角化病的AUC达到97.55%，证明了特征与分类器融合的有效性。

ABSTRACT

Skin cancer is one of the major types of cancers with an increasing incidence over the past decades. Accurately diagnosing skin lesions to discriminate between benign and malignant skin lesions is crucial to ensure appropriate patient treatment. While there are many computerised methods for skin lesion classification, convolutional neural networks (CNNs) have been shown to be superior over classical methods. In this work, we propose a fully automatic computerised method for skin lesion classification which employs optimised deep features from a number of well-established CNNs and from different abstraction levels. We use three pre-trained deep models, namely AlexNet, VGG16 and ResNet-18, as deep feature generators. The extracted features then are used to train support vector machine classifiers. In the final stage, the classifier outputs are fused to obtain a classification. Evaluated on the 150 validation images from the ISIC 2017 classification challenge, the proposed method is shown to achieve very good classification performance, yielding an area under receiver operating characteristic curve of 83.83% for melanoma classification and of 97.55% for seborrheic keratosis classification.

研究动机与目标

• 通过利用预训练深度神经网络的迁移学习，提升皮肤病变分类的准确性。
• 研究结合多个CNN架构及不同抽象层次特征对分类性能的影响。
• 开发一种完全自动化的端到端方法，用于基于皮肤镜图像对良性痣、恶性黑色素瘤和脂溢性角化病进行分类。
• 评估基于SVM的多分类器输出融合在增强皮肤病变类型之间区分能力方面的有效性。

提出的方法

• 将预训练的CNN（AlexNet、VGG16、ResNet-18）作为特征提取器，对皮肤镜图像进行处理，图像先调整为与各网络输入尺寸兼容的大小。
• 从全连接（FC）层提取深度特征，部分情况下也从最后一层卷积层提取，以捕捉多层次的抽象表征。
• 在每个独立网络和病变类型上，对提取的特征训练支持向量机（SVM）。
• 采用加权平均策略融合各独立网络的分类器输出，以提升整体分类性能。
• 该方法采用最少的预处理，包括ImageNet均值减法，以保持在不同数据集上的泛化能力。
• 使用受试者工作特征曲线下面积（AUC）在ISIC 2017验证集上评估性能。

Fig. 1 : Common artefacts in dermoscopic images from the ISIC challenge. Normal image, dark corner artefact, skin hair artefacts, colour chart artefact, ruler marker artefact, ink marker artefact (left to right, top to bottom).

实验结果

研究问题

• RQ1 将多个预训练CNN的深度特征进行融合，是否能超越单网络方法，在皮肤病变分类上取得更好效果？
• RQ2 融合来自不同抽象层次的特征（如FC层与卷积层）是否比仅使用单一层次的特征带来更好的性能？
• RQ3 将多个SVM分类器的输出进行融合，每个分类器基于不同网络的特征训练，其性能与单个网络相比如何？
• RQ4 从ImageNet预训练模型迁移学习，是否能有效泛化到皮肤镜图像病变分类任务，即使训练数据有限？

主要发现

• 使用所有三个网络（AlexNet、VGG16、ResNet-18）并融合其所有全连接层的特征，在ISIC 2017验证集上实现了最高的总体AUC（90.69%）。
• 所提方法在黑色素瘤分类中达到83.83%的AUC，在脂溢性角化病分类中达到97.55%的AUC，显著优于单网络基线模型。
• 在单个网络中，使用所有全连接层的特征（如AlexNet）的性能优于仅使用最终FC8层，表明多层次特征抽象具有重要价值。
• 在单个网络中，AlexNet表现最佳（AUC 89.73），表明浅层架构在小样本数据集上可能具有更好的泛化能力。
• AlexNet与ResNet-18的融合实现了90.29%的AUC，证明结合不同架构能有效提升性能。
• 即使采用极少的预处理，该方法仍表现出色，表明其在皮肤镜图像数据集上具有强鲁棒性和泛化潜力。

Fig. 3 : ROC curve of the best performing approach.