[论文解读] Transfer learning with class-weighted and focal loss function for automatic skin cancer classification

Duyen N. T. Le, Hieu X. Le+2 more|arXiv (Cornell University)|Sep 13, 2020

Cutaneous Melanoma Detection and Management参考文献 27被引用 50

一句话总结

该论文提出一个经过迁移学习训练的修改版 ResNet50 模型的集成，通过对类别加权损失和焦点损失来将 HAM10000 皮肤病变图像分成七个类别，在交叉验证下达到 93% 的最高准确率，测试集上达到 90%。

ABSTRACT

Skin cancer is by far in top-3 of the world's most common cancer. Among different skin cancer types, melanoma is particularly dangerous because of its ability to metastasize. Early detection is the key to success in skin cancer treatment. However, skin cancer diagnosis is still a challenge, even for experienced dermatologists, due to strong resemblances between benign and malignant lesions. To aid dermatologists in skin cancer diagnosis, we developed a deep learning system that can effectively and automatically classify skin lesions into one of the seven classes: (1) Actinic Keratoses, (2) Basal Cell Carcinoma, (3) Benign Keratosis, (4) Dermatofibroma, (5) Melanocytic nevi, (6) Melanoma, (7) Vascular Skin Lesion. The HAM10000 dataset was used to train the system. An end-to-end deep learning process, transfer learning technique, utilizing multiple pre-trained models, combining with class-weighted and focal loss were applied for the classification process. The result was that our ensemble of modified ResNet50 models can classify skin lesions into one of the seven classes with top-1, top-2 and top-3 accuracy 93%, 97% and 99%, respectively. This deep learning system can potentially be integrated into computer-aided diagnosis systems that support dermatologists in skin cancer diagnosis.

研究动机与目标

• 推动自动化、准确的七类皮肤病变分类，以帮助皮肤科医生。
• 利用带预训练 CNN 的迁移学习来处理不均衡的皮肤病变数据。
• 采用类别加权和 focal loss 以提升对少数类的性能。
• 开发端到端的管道，尽量减少特征工程以实现稳健诊断。

提出的方法

• 使用在 ImageNet 上预训练的 ResNet50 架构，做出轻微修改（全局平均池化、 dropout、两层全连接层）。
• 应用基于类别比率的类别加权损失以解决不平衡问题。
• 引入 focal loss 以将训练重点放在困难样本上，并减少易负样本的影响。
• 扩增训练数据（旋转、翻转、cutout、裁剪），并使用分层抽样和 5 折交叉验证。
• 集成多个模型并对测试阶段应用 TTA（测试时数据增强）以获得最终预测。

实验结果

研究问题

• RQ1 使用 ResNet50 的迁移学习、类别加权损失和 focal loss，是否能在 HAM10000 上实现高水平的多类皮肤病变分类？
• RQ2 每种技术（ dropout、数据增强、CW 损失、focal 损失、GAP）对分类性能的影响是什么？
• RQ3 在 ResNet50、VGG16、MobileNet、EfficientNetB1 之间，哪种基础架构在准确性与部署可行性之间取得最佳平衡？
• RQ4 使用带 TTA 的集成是否能在跨折和跨数据集上提升泛化？
• RQ5 与现有的 HAM10000 研究在准确率和分类性能方面相比，提出的方法如何？

主要发现

实验	准确率	精确率	召回率	F1分数
1 (no dropout)	90	78	77	77
2 (no augment)	89	79	71	74
3 (no CW)	90	81	77	79
4 (no FC)	74	70	80	72
5 (no GAP)	88	77	73	75
6 (full)	90	81	80	80

• 在所有技术的修饰后 ResNet50 模型的集成，在5折交叉验证中达到 93% 的准确率，测试集上达到 90% 的准确率。
• 完整方法（dropout、数据增强、类别加权损失、 focal loss、全局平均池化）在准确率、精确率、召回率和 F1-score 等指标上均优于消融实验。
• 各类别的精确率、召回率和 F1-score 表现出对若干类别的强势表现，平均指标显示与前人工作具备竞争力。
• ResNet50 在阶段1实验中优于 VGG16、MobileNet 和 EfficientNetB1，尽管 EfficientNetB1 在移动部署方面提供了权衡。
• GradCAM 可视化显示模型聚焦在病灶区域，但对伪影有时聚焦错误，促使进行基于分割的分析，结果并未提升性能。