[论文解读] The Fast and Accurate Approach to Detection and Segmentation of Melanoma Skin Cancer using Fine-tuned Yolov3 and SegNet Based on Deep Transfer Learning

Mohamad Taghizadeh, Karim Mohammadi|arXiv (Cornell University)|Oct 11, 2022

Cutaneous Melanoma Detection and Management被引用 5

一句话总结

该论文提出了一种两阶段深度学习流程，结合微调后的 YOLOv3 实现快速且精确的黑色素瘤病灶检测，以及微调后的 SegNet 实现精确分割，在 ISIC 2018 数据集上，检测任务的 mAP 达到 96%，分割任务的准确率达到 95.16%，均基于迁移学习技术。

ABSTRACT

Melanoma is one of the most serious skin cancers that can occur in any part of the human skin. Early diagnosis of melanoma lesions will significantly increase their chances of being cured. Improving melanoma segmentation will help doctors or surgical robots remove the lesion more accurately from body parts. Recently, the learning-based segmentation methods achieved desired results in image segmentation compared to traditional algorithms. This study proposes a new approach to improve melanoma skin lesions detection and segmentation by defining a two-step pipeline based on deep learning models. Our methods were evaluated on ISIC 2018 (Skin Lesion Analysis Towards Melanoma Detection Challenge Dataset) well-known dataset. The proposed methods consist of two main parts for real-time detection of lesion location and segmentation. In the detection section, the location of the skin lesion is precisely detected by the fine-tuned You Only Look Once version 3 (F-YOLOv3) and then fed into the fine-tuned Segmentation Network (F-SegNet). Skin lesion localization helps to reduce the unnecessary calculation of whole images for segmentation. The results show that our proposed F-YOLOv3 performs better at 96% in mean Average Precision (mAP). Compared to state-of-the-art segmentation approaches, our F-SegNet achieves higher performance with 95.16% accuracy.

研究动机与目标

• 解决早期且准确诊断黑色素瘤的迫切需求，以提高患者生存率。
• 通过利用深度学习改进病灶边界定位，克服传统分割方法的局限性。
• 开发一种实时、高效的流程，通过仅对检测到的病灶区域进行分割来降低计算负载。
• 通过在大规模、多样化的皮肤病灶数据集上对 SegNet 进行微调，提升分割精度。
• 在统一的深度学习框架下，实现在黑色素瘤皮肤癌检测与分割任务中的最先进性能。

提出的方法

• 在 ISIC 2018 数据集上微调 YOLOv3（F-YOLOv3），以高精度和高速度检测黑色素瘤病灶，利用 ImageNet 预训练权重。
• 利用 F-YOLOv3 输出的边界框对图像进行裁剪，聚焦于病灶区域，从而降低分割任务的计算负载。
• 在相同数据集上使用迁移学习对 SegNet（F-SegNet）进行微调，以实现黑色素瘤病灶的像素级分割。
• 应用数据增强和迁移学习技术，以提升在有限医学影像数据上的泛化能力和性能。
• 设计两阶段流程：首先通过 F-YOLOv3 进行检测，然后在裁剪后的病灶区域上通过 F-SegNet 进行分割。
• 使用交叉熵损失和 Adam 优化器对两个模型进行优化，以提升收敛速度和分割精度。

实验结果

研究问题

• RQ1 与单阶段方法相比，结合目标检测与语义分割的两阶段深度学习流程是否能显著提升黑色素瘤病灶检测与分割的准确性？
• RQ2 在 ISIC 2018 数据集上，通过迁移学习对 YOLOv3 进行微调在多大程度上提升了检测 mAP？
• RQ3 微调后的 SegNet 在分割黑色素瘤病灶方面与最先进分割模型相比表现如何？
• RQ4 将分割任务聚焦于检测到的病灶区域，是否能显著降低计算成本，同时保持高精度？
• RQ5 迁移学习与数据增强对医学皮肤病灶分割中模型泛化能力有何影响？

主要发现

• 所提出的 F-YOLOv3 在 ISIC 2018 数据集上实现了 96% 的平均精度均值（mAP），优于许多现有检测模型。
• 微调后的 SegNet（F-SegNet）实现了 95.16% 的分割准确率，表现优于当前最先进的分割方法。
• 两阶段流程通过仅对 F-YOLOv3 检测到的病灶区域执行分割，显著减少了不必要的计算量。
• 使用 ImageNet 预训练权重进行迁移学习，显著提升了模型在有限医学影像数据集上的收敛速度与性能。
• F-YOLOv3 与 F-SegNet 的集成实现了实时检测与高精度分割，适用于临床部署。
• 结果证实，通过迁移学习将目标检测与语义分割相结合，是黑色素瘤诊断中一种极为有效的策略。