[论文解读] Skin Cancer Segmentation and Classification Using Vision Transformer for Automatic Analysis in Dermatoscopy-based Non-invasive Digital System

Galib Muhammad Shahriar Himel, Md. Masudul Islam+3 more|arXiv (Cornell University)|Jan 9, 2024

Cutaneous Melanoma Detection and Management被引用 5

一句话总结

论文提出一种基于 Vision Transformer 的皮肤癌分类方法，使用 HAM10000 数据集，Segmentation Anything Model 辅助病变分割，在 ViT patch-32 变体上达到 96.15% 的准确率。

ABSTRACT

Skin cancer is a global health concern, necessitating early and accurate diagnosis for improved patient outcomes. This study introduces a groundbreaking approach to skin cancer classification, employing the Vision Transformer, a state-of-the-art deep learning architecture renowned for its success in diverse image analysis tasks. Utilizing the HAM10000 dataset of 10,015 meticulously annotated skin lesion images, the model undergoes preprocessing for enhanced robustness. The Vision Transformer, adapted to the skin cancer classification task, leverages the self-attention mechanism to capture intricate spatial dependencies, achieving superior performance over traditional deep learning architectures. Segment Anything Model aids in precise segmentation of cancerous areas, attaining high IOU and Dice Coefficient. Extensive experiments highlight the model's supremacy, particularly the Google-based ViT patch-32 variant, which achieves 96.15% accuracy and showcases potential as an effective tool for dermatologists in skin cancer diagnosis, contributing to advancements in dermatological practices.

研究动机与目标

• 促进皮肤癌的早期且准确诊断，以改善患者结局。
• 提出一个面向皮肤科图像分析的基于 ViT 的框架。
• 整合分割以界定癌变区域，从而改进分类。
• 通过预处理和自注意力机制评估鲁棒性。

提出的方法

• 对包含 10,015 张标注性皮肤镜图像的 HAM10000 数据集进行预处理，以提高鲁棒性。
• 将 Vision Transformer 应用于皮肤癌分类，利用自注意力捕捉空间依赖关系。
• 应用 Segmentation Anything Model 进行精准癌变区域分割。
• 将 ViT patch-32 变体（Google 基础）与传统架构进行对比以评估性能。
• 报告准确率和分割质量等指标（IOU、Dice 系数）。

实验结果

研究问题

• RQ1 带自注意力的 Vision Transformer 是否在皮肤镜图像的皮肤癌分类中优于传统深度学习模型？
• RQ2 Segmentation Anything Model 如何促成在该流程中对癌变区域的精确界定？
• RQ3 对基于 HAM10000 的分类中，预处理对模型鲁棒性和性能有何影响？
• RQ4 哪些 ViT 变体能为该任务带来最佳的分类准确性？

主要发现

• ViT patch-32 变体在皮肤癌分类任务中达到 96.15% 的准确率。
• Segmentation Anything Model 实现对癌变区域的高 IOU 和 Dice 系数的精准分割。
• Vision Transformer 在该任务上展现出优于传统深度学习体系结构的性能。
• 该方法有望帮助皮肤科医生进行皮肤癌诊断。