[论文解读] SkinCon: A skin disease dataset densely annotated by domain experts for fine-grained model debugging and analysis

Roxana Daneshjou, Mert Yüksekgönül+3 more|arXiv (Cornell University)|Feb 1, 2023

Cutaneous Melanoma Detection and Management被引用 4

一句话总结

SkinCon 是一个皮肤病学数据集，包含来自 Fitzpatrick 17k 的 3,230 张图像和来自 Diverse Dermatology Images 数据集的 656 张图像，由皮肤科医生密集标注了 48 个临床上相关的皮肤病变概念，例如 '斑块'、'脱屑' 和 '糜烂'。该数据集通过基于概念的解释和事后概念瓶颈模型，支持细粒度的模型调试和可解释的人工智能。其中 22 个概念至少有 50 张图像，32 个概念超过 30 张图像，使其成为首个具备广泛、多病种概念标注的医学数据集。

ABSTRACT

For the deployment of artificial intelligence (AI) in high-risk settings, such as healthcare, methods that provide interpretability/explainability or allow fine-grained error analysis are critical. Many recent methods for interpretability/explainability and fine-grained error analysis use concepts, which are meta-labels that are semantically meaningful to humans. However, there are only a few datasets that include concept-level meta-labels and most of these meta-labels are relevant for natural images that do not require domain expertise. Densely annotated datasets in medicine focused on meta-labels that are relevant to a single disease such as melanoma. In dermatology, skin disease is described using an established clinical lexicon that allows clinicians to describe physical exam findings to one another. To provide a medical dataset densely annotated by domain experts with annotations useful across multiple disease processes, we developed SkinCon: a skin disease dataset densely annotated by dermatologists. SkinCon includes 3230 images from the Fitzpatrick 17k dataset densely annotated with 48 clinical concepts, 22 of which have at least 50 images representing the concept. The concepts used were chosen by two dermatologists considering the clinical descriptor terms used to describe skin lesions. Examples include "plaque", "scale", and "erosion". The same concepts were also used to label 656 skin disease images from the Diverse Dermatology Images dataset, providing an additional external dataset with diverse skin tone representations. We review the potential applications for the SkinCon dataset, such as probing models, concept-based explanations, and concept bottlenecks. Furthermore, we use SkinCon to demonstrate two of these use cases: debugging mistakes of an existing dermatology AI model with concepts and developing interpretable models with post-hoc concept bottleneck models.

研究动机与目标

• 解决当前医疗人工智能数据集中缺乏医学相关、多病种概念标注的问题。
• 通过提供领域专家标注的临床描述，实现皮肤病学人工智能中细粒度的错误分析和模型可解释性。
• 通过使用标准化的临床术语，支持基于概念的解释和事后可解释模型的开发。
• 通过分析不同肤色和病变类型，提升模型的鲁棒性和公平性。
• 为未来可解释、可泛化的皮肤病学人工智能研究建立基础数据集。

提出的方法

• 皮肤科医生基于公认的皮肤病学术语，选取了 48 个具有临床意义的皮肤病变描述词（例如 '斑块'、'脱屑'）。
• 使用两阶段标注与验证流程，对来自 Fitzpatrick 17k 和 Diverse Dermatology Images (DDI) 数据集的图像，用这 48 个概念进行标注。
• 该数据集包含来自 Fitzpatrick 17k 的 3,230 张图像和来自 DDI 的 656 张图像，其中 25 个概念的图像数量超过 50 张，32 个概念超过 30 张。
• 通过概念性反事实解释，展示了基于概念的模型解释方法，用于调试现有皮肤病学人工智能模型的误预测。
• 使用 SkinCon 的概念训练事后概念瓶颈模型，以提升模型的可解释性和性能。
• 该数据集已发布于 https://SkinCon-dataset.github.io，以支持医疗人工智能中的可复现研究。

实验结果

研究问题

• RQ1 一个具有临床相关、多病种概念密集标注的皮肤病学数据集，是否能提升模型的可解释性和错误分析能力？
• RQ2 基于概念的解释在识别和诊断皮肤病学人工智能模型误预测方面有多有效？
• RQ3 基于 SkinCon 训练的事后概念瓶颈模型，在多大程度上能提升现有皮肤病分类器的可解释性？
• RQ4 SkinCon 中包含的多样化肤色在多大程度上影响了模型错误分析的公平性和泛化能力？
• RQ5 在皮肤病学人工智能模型开发中，当前临床术语词典和标注实践存在哪些局限性？

主要发现

• SkinCon 包含来自 Fitzpatrick 17k 的 3,230 张图像和来自 DDI 的 656 张图像，由皮肤科医生标注了 48 个临床概念，其中 22 个概念至少有 50 张图像。
• 该数据集支持基于概念的解释，可揭示模型为何错误分类某一皮肤病变，例如将误诊归因于 '脱屑' 或 '糜烂' 的存在。
• 基于 SkinCon 概念训练的事后概念瓶颈模型，提升了模型的可解释性，并支持基于临床特征的错误分析。
• 该数据集支持模型行为在不同病变类型和肤色之间的切片发现与探测。
• 尽管已尽力平衡，SkinCon 仍存在类别不平衡问题，常见概念如 '丘疹' 和 '斑块' 被过度表示，而罕见特征如 '结节' 则表示不足。
• 该数据集包含更高比例的 Fitzpatrick 皮肤类型 I–IV，而非 V–VI，凸显了未来扩展以改善深色皮肤类型代表性的必要性。