[论文解读] Multi-task Explainable Skin Lesion Classification

Mahapara Khurshid, Mayank Vatsa+1 more|arXiv (Cornell University)|Oct 11, 2023

Cutaneous Melanoma Detection and ManagementMedicine被引用 3

一句话总结

该论文提出了一种多任务、少样本学习框架，通过融合语义分割与分类实现可解释的皮肤病变诊断。通过使用共享主干网络及联合分割与分类分支，并采用结合两项任务的加权损失函数，该模型在5-shot 2-way分类任务中实现了最先进准确率（最高达77.64%），同时通过Grad-CAM生成基于注意力的解释，展示了在H期10000、PH2和Derm7pt等皮肤镜数据集上的强大泛化能力。

ABSTRACT

Skin cancer is one of the deadliest diseases and has a high mortality rate if left untreated. The diagnosis generally starts with visual screening and is followed by a biopsy or histopathological examination. Early detection can aid in lowering mortality rates. Visual screening can be limited by the experience of the doctor. Due to the long tail distribution of dermatological datasets and significant intra-variability between classes, automatic classification utilizing computer-aided methods becomes challenging. In this work, we propose a multitask few-shot-based approach for skin lesions that generalizes well with few labelled data to address the small sample space challenge. The proposed approach comprises a fusion of a segmentation network that acts as an attention module and classification network. The output of the segmentation network helps to focus on the most discriminatory features while making a decision by the classification network. To further enhance the classification performance, we have combined segmentation and classification loss in a weighted manner. We have also included the visualization results that explain the decisions made by the algorithm. Three dermatological datasets are used to evaluate the proposed method thoroughly. We also conducted cross-database experiments to ensure that the proposed approach is generalizable across similar datasets. Experimental results demonstrate the efficacy of the proposed work.

研究动机与目标

• 为应对皮肤病变标注数据有限，尤其是罕见类别数据稀缺的挑战，开发一种在极少标注样本下仍具有良好泛化能力的少样本学习方法。
• 通过将分割网络作为注意力机制，提升分类的鲁棒性，使模型聚焦于病变区域，减少毛发和鳞屑等伪影的干扰。
• 通过生成Grad-CAM可视化结果，增强模型的可解释性，帮助医学专业人员理解模型的决策过程。
• 通过跨数据库实验，在H期10000、PH2和Derm7pt等多样化的皮肤镜数据集中评估模型的泛化能力。
• 通过可学习的加权超参数（λ）优化分割与分类损失之间的权衡，以提升性能。

提出的方法

• 该框架采用多任务学习架构，包含一个共享的特征提取器（ResNet50）和两个并行分支：一个用于病变分割，一个用于分类。
• 分割输出作为空间注意力掩码，引导分类网络聚焦于病变区域，减少伪影干扰。
• 加权多任务损失函数结合了分类任务的交叉熵损失与分割任务的二元交叉熵损失，λ用于控制两项损失之间的平衡。
• 分类分支采用原型网络与度量学习，通过支持样本的均值嵌入计算类别原型，并基于余弦或欧氏距离对查询图像进行分类。
• 通过Grad-CAM实现可解释性，突出显示影响模型预测的输入图像中具有判别性的区域。
• 模型在1000次随机采样的少样本训练周期（1、3、5-shot）中进行训练与评估，置信区间分别报告为75%、90%和95%。

Figure 1: Showcasing the skin samples from HAM10000 (top row), PH2 (middle row) and Derm7pt (bottom row). This figure highlights the need for segmentation in skin lesion classification, as there are artifacts that need to be removed before classifying the image.

实验结果

研究问题

• RQ1 是否可以通过联合优化分割与分类的多任务学习框架，提升在小样本数据集上的少样本皮肤病变分类性能？
• RQ2 将分割作为注意力机制是否能增强模型聚焦于相关病变特征的能力，并减少因伪影导致的误分类？
• RQ3 骨干网络架构的选择（如VGG16、ResNet18、DenseNet-121、ResNet50）如何影响皮肤病变分类中的少样本分类准确率？
• RQ4 在低数据环境下，分割与分类损失之间的最优权衡（通过λ控制）是什么，以实现最高分类性能？
• RQ5 所提方法在跨数据库评估中，对H期10000、PH2和Derm7pt等不同皮肤镜数据集的泛化能力如何？

主要发现

• 在5-shot 2-way分类任务中，该方法在H期10000数据集上平均准确率达77.57%（95%置信区间±0.73），在PH2数据集上为76.06%（±0.98），在Derm7pt数据集上为77.64%（±0.96）。
• 在5-shot设置下，使用ResNet50作为骨干网络的分类准确率最高（H期10000上达77.57%），优于VGG16（73.79%）、ResNet18（76.50%）和DenseNet-121（74.21%）。
• 联合损失的最优λ值为2，在H期10000上实现78.21%的准确率，PH2上为75.85%，Derm7pt上为77.83%；更高的λ值（如λ=5）导致性能下降，归因于过拟合。
• 跨数据库实验验证了模型强大的泛化能力，在所有三个数据集上均保持一致的性能表现，表明对领域偏移具有鲁棒性。
• Grad-CAM可视化结果表明，模型能正确突出病变区域作为主要决策依据，显著增强临床用户对模型的信任与可解释性。
• 消融实验确认分割头作为有效的注意力模块，通过过滤无关图像区域与伪影，提升了分类性能。

Figure 2: Illustrating the basic working of prototypical networks