[论文解读] SkinSAM: Empowering Skin Cancer Segmentation with Segment Anything Model

Mingzhe Hu, Yuheng Li+1 more|arXiv (Cornell University)|Apr 27, 2023

Cutaneous Melanoma Detection and Management被引用 43

一句话总结

SkinSAM 在皮肤癌分割任务中对 Segment Anything Model 进行微调，并在 HAM10000 上实现像素级高精度，其中 ViT_b_finetuned 提供了最佳提升。

ABSTRACT

Skin cancer is a prevalent and potentially fatal disease that requires accurate and efficient diagnosis and treatment. Although manual tracing is the current standard in clinics, automated tools are desired to reduce human labor and improve accuracy. However, developing such tools is challenging due to the highly variable appearance of skin cancers and complex objects in the background. In this paper, we present SkinSAM, a fine-tuned model based on the Segment Anything Model that showed outstanding segmentation performance. The models are validated on HAM10000 dataset which includes 10015 dermatoscopic images. While larger models (ViT_L, ViT_H) performed better than the smaller one (ViT_b), the finetuned model (ViT_b_finetuned) exhibited the greatest improvement, with a Mean pixel accuracy of 0.945, Mean dice score of 0.8879, and Mean IoU score of 0.7843. Among the lesion types, vascular lesions showed the best segmentation results. Our research demonstrates the great potential of adapting SAM to medical image segmentation tasks.

研究动机与目标

• 解决在病灶外观高度可变的情况下实现皮肤癌分割的挑战
• 利用预训练的 Segment Anything Model 并对其在医学皮肤镜图像上进行微调
• 在 HAM10000 数据集上评估分割性能并识别按病变类型的结果
• 展示将 SAM 适配到医学图像分割任务的潜力

提出的方法

• 在皮肤镜图像上对 Segment Anything Model (SAM) 进行微调，以实现皮肤癌分割
• 尝试不同的 SAM 骨干网络（ViT_b、ViT_L、ViT_H）以及 ViT_b_finetuned 变体
• 在 HAM10000 上使用平均像素精度、平均 Dice 得分和平均 IoU 评估分割
• 比较不同病变类型的性能以识别优势（例如血管性病变）
• 在皮肤镜数据集上报告标准分割指标来支撑结果

实验结果

研究问题

• RQ1 经过微调的 SAM 是否能够在大规模皮肤镜数据集上实现具有竞争力的皮肤癌分割性能？
• RQ2 微调后哪种 SAM 骨干变体能实现最佳分割性能？
• RQ3 病变类型如何影响分割性能，哪些类型的分割最为准确？
• RQ4 将 SAM 适配到医学影像分割任务时的关键定量提升有哪些？

主要发现

• ViT_b_finetuned 在所测试的骨干中提供了最大的改进。
• 使用微调模型实现的平均像素精度为 0.945。
• 平均 Dice 得分达到 0.8879。
• 平均 IoU 得分达到 0.7843。
• 血管性病变在病变类型中表现出最佳分割性能。