[论文解读] What evidence does deep learning model use to classify Skin Lesions?

Xiaoxiao Li, Junyan Wu+2 more|arXiv (Cornell University)|Nov 2, 2018

Cutaneous Melanoma Detection and Management参考文献 19被引用 8

一句话总结

本文提出一种通过逐块破坏分析预测差异的方法，以解释皮肤病变分类中的深度学习模型，识别出色素网、蓝白遮蔽和血管模式等临床相关生物标志物。该方法表明，模型依赖于与皮肤科标准一致的特征，从而在黑色素瘤检测中增强可信度与临床相关性。

ABSTRACT

Melanoma is a type of skin cancer with the most rapidly increasing incidence. Early detection of melanoma using dermoscopy images significantly increases patients' survival rate. However, accurately classifying skin lesions by eye, especially in the early stage of melanoma, is extremely challenging for the dermatologists. Hence, the discovery of reliable biomarkers will be meaningful for melanoma diagnosis. Recent years, the value of deep learning empowered computer-assisted diagnose has been shown in biomedical imaging based decision making. However, much research focuses on improving disease detection accuracy but not exploring the evidence of pathology. In this paper, we propose a method to interpret the deep learning classification findings. Firstly, we propose an accurate neural network architecture to classify skin lesions. Secondly, we utilize a prediction difference analysis method that examines each patch on the image through patch-wised corrupting to detect the biomarkers. Lastly, we validate that our biomarker findings are corresponding to the patterns in the literature. The findings can be significant and useful to guide clinical diagnosis.

研究动机与目标

• 解释深度学习模型在基于皮肤镜图像分类皮肤病变时所依据的证据。
• 以符合临床皮肤科标准的方式，识别对分类决策有贡献的关键特征（生物标志物）。
• 通过独立皮肤科专家评估验证模型解释的临床相关性。
• 开发一种无需微调即可解释预测的方法，从而在临床人工智能应用中提升可信度与透明度。

提出的方法

• 基于微调后的ResNet50和VGG架构训练了一个深度学习分类器，使用ISIC 2018皮肤病变数据集进行多类别分类。
• 通过系统性地破坏不同尺寸（5、10、15、20）的图像块，并测量模型置信度的变化，应用预测差异分析。
• 使用高斯参数的条件采样生成被破坏的块，并基于多次试验中预测变化计算每个像素的证据权重（WE）。
• 选择15作为最优窗口大小，在特征捕获与可解释性之间取得平衡，结果通过红色（正向证据）和蓝色（负向证据）着色可视化。
• 该方法可在不重新训练的情况下实现关键特征的定位，依赖于受控输入扰动下的激活变化。
• 由两名独立皮肤科医生验证，确认突出显示的特征与公认的临床生物标志物一致。

实验结果

研究问题

• RQ1 深度学习模型在分类皮肤病变时依赖哪些图像特征？
• RQ2 模型识别出的特征是否与已知的临床皮肤科生物标志物相对应？
• RQ3 基于逐块破坏的方法能否有效解释皮肤病变分类中深度学习的预测？
• RQ4 模型在不同病变类型上的注意力有何差异，且是否与专家诊断标准一致？

主要发现

• 模型将深色、密集且不对称的结构识别为黑色素瘤（MEL）的关键证据，与临床表现如蓝白遮蔽和色素网缺失相符。
• 对于良性痣（NV），模型突出了色素网和球状结构，这些是临床上公认的诊断特征。
• 基底细胞癌（BCC）与小簇状的蓝灰色小球相关，与皮肤科观察结果一致。
• 光化性角化病（AKIEC）与环状-颗粒状图案及带有白晕的毛囊开口相关，专家确认其为诊断指标。
• 对于皮质纤维瘤（DF），模型突出了细腻的外周色素网，与临床描述一致。
• 血管性（VASC）病变通过边界清晰、卵圆形结构（类似血管陷窝）被识别，对周围皮肤特征依赖性较低。