[论文解读] Skin disease identification from dermoscopy images using deep convolutional neural network

Anabik Pal, Sounak Ray+1 more|arXiv (Cornell University)|Jul 24, 2018

Cutaneous Melanoma Detection and Management参考文献 9被引用 15

一句话总结

本文提出了一种微调后的深度卷积神经网络集成模型——ResNet50、DenseNet-121 和 MobileNet——用于将皮肤镜图像分类为七种皮肤疾病类别。通过利用迁移学习和加权损失来解决数据不平衡问题，该集成模型在 ISIC 2018 挑战赛验证集上实现了 0.775 的平衡准确率，通过多数投票对各类别的概率预测进行集成，优于单个模型的表现。

ABSTRACT

In this paper, a deep neural network based ensemble method is experimented for automatic identification of skin disease from dermoscopic images. The developed algorithm is applied on the task3 of the ISIC 2018 challenge dataset (Skin Lesion Analysis Towards Melanoma Detection).

研究动机与目标

• 通过深度学习提高从皮肤镜图像中进行皮肤疾病分类的准确性。
• 通过在训练过程中使用加权损失，解决 ISIC 2018 数据集中类别不平衡的问题。
• 通过在皮肤镜图像分类任务上微调预训练的 CNN 模型，利用迁移学习。
• 通过结合多个最先进架构的预测结果，利用集成学习提升性能。
• 在七种皮肤病变类型（黑色素瘤、色素细胞痣、基底细胞癌、光化性角化病、良性角化病、纤维组织瘤、血管病变）上实现稳健的分类。

提出的方法

• 在 ISIC 2018 皮肤镜图像数据集上对三个预训练的深度神经网络（ResNet50、DenseNet-121 和 MobileNet）进行微调。
• 通过使用 ImageNet 预训练模型初始化网络权重，实现迁移学习，以缓解数据饥饿问题。
• 通过在训练过程中反向传播类别加权损失，解决类别不平衡问题。
• 首先，冻结除最后一层外的所有层（将最后一层重新训练为 7 个神经元以实现七分类），使用较高的初始学习率（0.01）训练 10 个周期，并采用早停策略（patience=5）。
• 然后，解冻所有层，并使用较低的学习率（0.001）进行微调，训练 100 个周期，同样采用早停策略（patience=10）。
• 应用水平和垂直翻转作为数据增强手段，并通过多数投票方式结合三个模型的类别概率图进行预测。

实验结果

研究问题

• RQ1 与单个模型相比，预训练深度卷积神经网络的集成是否能提高从皮肤镜图像中进行皮肤病变诊断的分类准确率？
• RQ2 在皮肤镜图像数据集中，使用加权损失的迁移学习在缓解因类别不平衡导致的性能下降方面有多有效？
• RQ3 通过集成学习将来自不同架构（ResNet50、DenseNet-121、MobileNet）的预测结果进行结合，是否能获得比单个模型更好的泛化能力？
• RQ4 渐进式微调（先冻结所有层，再解冻全部层）对模型收敛性和性能有何影响？
• RQ5 通过翻转进行数据增强在多大程度上能提升皮肤病变分类的鲁棒性和泛化能力？

主要发现

• ResNet50 与 MobileNet 的集成在 ISIC 2018 验证集上实现了 0.771 的平衡准确率，优于单个模型。
• 包含全部三个模型（ResNet50、DenseNet-121 和 MobileNet）的完整集成模型实现了最高的平衡准确率 0.775，证明了模型平均的有效性。
• ResNet50 单独使用时表现最佳，平衡准确率为 0.773，表明其在该数据集上具有强大的泛化能力。
• DenseNet-121 的平衡准确率为 0.698，尽管其深层结构和密集连接设计，但表现中等。
• MobileNet 的个体准确率最低，为 0.597，可能因其轻量化设计和对复杂皮肤镜图案的表征能力较弱。
• 集成显著提升了性能，其中 ResNet50–DenseNet-121 和 ResNet50–MobileNet 组合分别相对于其个体模型提升了 0.004 和 0.002 的准确率。