[论文解读] Towards Concept-based Interpretability of Skin Lesion Diagnosis using Vision-Language Models

Cristiano Patrício, Luís F. Teixeira+1 more|arXiv (Cornell University)|Nov 24, 2023

Cancer-related molecular mechanisms research被引用 6

一句话总结

本文提出了一种基于概念的可解释性框架，用于使用视觉-语言模型进行皮肤病变诊断，利用专家标注的皮肤镜概念作为文本嵌入。通过采用简单的嵌入学习策略微调CLIP，该方法在显著减少对概念标注数据依赖的情况下实现了最先进（SOTA）的性能，优于基线CLIP模型以及使用大语言模型（LLM）生成描述的模型。

ABSTRACT

Concept-based models naturally lend themselves to the development of inherently interpretable skin lesion diagnosis, as medical experts make decisions based on a set of visual patterns of the lesion. Nevertheless, the development of these models depends on the existence of concept-annotated datasets, whose availability is scarce due to the specialized knowledge and expertise required in the annotation process. In this work, we show that vision-language models can be used to alleviate the dependence on a large number of concept-annotated samples. In particular, we propose an embedding learning strategy to adapt CLIP to the downstream task of skin lesion classification using concept-based descriptions as textual embeddings. Our experiments reveal that vision-language models not only attain better accuracy when using concepts as textual embeddings, but also require a smaller number of concept-annotated samples to attain comparable performance to approaches specifically devised for automatic concept generation.

研究动机与目标

• 开发一种基于概念的、可解释的皮肤病变诊断系统，使其与临床决策过程保持一致。
• 通过利用视觉-语言模型的零样本能力，减少对昂贵的专家标注概念数据集的依赖。
• 通过使用专家选择的皮肤镜概念作为文本嵌入，提高分类准确率和可解释性。
• 证明在CLIP上采用简单的嵌入学习过程，可实现与专为自动概念生成设计的模型相当或更优的性能。

提出的方法

• 通过联合图像与文本投影头微调CLIP，以学习共享的多模态嵌入空间。
• 使用图像特征与疾病标签或皮肤镜概念的文本嵌入之间的余弦相似度进行分类。
• 在基于概念的相似度分数之上应用线性分类器，作为可解释性的概念瓶颈模型（CBM）。
• 使用图像分割聚焦于病变区域，提升模型的鲁棒性与性能。
• 使用对比损失函数训练投影头，以最大化匹配图像-标签对之间的相似度，同时最小化不匹配对之间的相似度。
• 将预训练的CLIP图像和文本编码器作为冻结主干网络，仅微调投影层。

实验结果

研究问题

• RQ1 视觉-语言模型（如CLIP）能否通过使用专家标注的皮肤镜概念作为文本提示，有效适配于皮肤病变诊断？
• RQ2 使用专家选择的皮肤镜概念作为文本嵌入，是否能获得优于LLM生成描述的性能？
• RQ3 在CLIP上采用简单的嵌入学习过程，是否能实现与专为自动概念生成设计的模型相当的性能？
• RQ4 概念标注样本的数量如何影响模型性能？模型是否能在较少标注的情况下实现泛化？

主要发现

• 与原始CLIP相比，该方法在Derm7pt数据集上平均提升平衡准确率11.5%，在ISIC 2018数据集上提升9.2%。
• 使用专家标注的皮肤镜概念作为文本嵌入，性能优于LLM生成的描述，在Derm7pt上提升2.3%，在ISIC 2018上提升7.5%。
• 该方法在性能上可与MONET相媲美，但训练时间仅需其约1/80。
• 仅使用40–60张图像-标签对进行微调，CLIP变体即可在ISIC 2018上达到与MONET相当的性能。
• 该模型提供了与临床知识（如ABCDE标准）一致的概念解释，显著增强了可解释性。
• CBM策略在所有数据集和CLIP变体上均持续优于基线模型，其中在ISIC 2018上提升最高，达+7.5%。