[论文解读] Transformer-based interpretable multi-modal data fusion for skin lesion classification

Theodor Cheslerean-Boghiu, Melia-Evelina Fleischmann+2 more|arXiv (Cornell University)|Apr 3, 2023

Cutaneous Melanoma Detection and Management被引用 4

一句话总结

本文提出了一种基于Transformer的可解释多模态融合模型，用于皮肤病变分类，通过自注意力机制在单阶段过程中整合皮肤镜图像和患者元数据。该方法在图像丰富和元数据丰富的设置下均达到最先进性能，同时通过显著性图和相关性图实现原生可解释性，使临床医生能够验证模型决策并建立对人工智能驱动诊断的信任。

ABSTRACT

A lot of deep learning (DL) research these days is mainly focused on improving quantitative metrics regardless of other factors. In human-centered applications, like skin lesion classification in dermatology, DL-driven clinical decision support systems are still in their infancy due to the limited transparency of their decision-making process. Moreover, the lack of procedures that can explain the behavior of trained DL algorithms leads to almost no trust from clinical physicians. To diagnose skin lesions, dermatologists rely on visual assessment of the disease and the data gathered from the patient's anamnesis. Data-driven algorithms dealing with multi-modal data are limited by the separation of feature-level and decision-level fusion procedures required by convolutional architectures. To address this issue, we enable single-stage multi-modal data fusion via the attention mechanism of transformer-based architectures to aid in diagnosing skin diseases. Our method beats other state-of-the-art single- and multi-modal DL architectures in image-rich and patient-data-rich environments. Additionally, the choice of the architecture enables native interpretability support for the classification task both in the image and metadata domain with no additional modifications necessary.

研究动机与目标

• 解决基于深度学习的皮肤科决策支持系统中缺乏透明度和临床信任的问题。
• 克服传统卷积神经网络中特征级融合与决策级融合分离所带来的局限性。
• 通过Transformer的注意力机制实现单阶段端到端多模态数据融合，以提升性能。
• 在无需额外修改的情况下，为图像和元数据模态提供原生可解释性。
• 通过与已知皮肤科诊断标准和患者病史因素对齐，确保临床相关性。

提出的方法

• 采用基于Transformer的架构，在共享潜在空间中对皮肤镜图像和表格型患者元数据进行联合编码。
• 使用多头自注意力机制，在分类过程中动态加权图像块和元数据特征的重要性。
• 通过模态特定的分词器和可学习位置嵌入，对图像和表格数据进行联合嵌入。
• 在[CLS]标记上应用分类头，从融合表示中预测皮肤病变诊断结果。
• 利用Grad-CAM和基于梯度的显著性图，实现图像注意力的可视化可解释性。
• 采用LIME风格的特征归因方法，计算单个元数据因素的相关性得分，从而实现对模型决策的临床解释。

实验结果

研究问题

• RQ1 单阶段基于Transformer的架构是否能在多模态皮肤病变分类中超越现有最先进模型？
• RQ2 Transformer中的注意力机制在多大程度上能实现皮肤镜图像与临床元数据的有效融合？
• RQ3 模型的注意力机制是否能突出图像和元数据中的临床相关特征，如病变生长行为或解剖位置？
• RQ4 模型的可解释性输出（显著性图和相关性图）是否能帮助临床医生验证或修正模型预测？
• RQ5 该模型在罕见或视觉上模糊的皮肤病变上表现如何，尤其是那些具有高类内差异的病变？

主要发现

• 所提出的模型在图像丰富和患者数据丰富的环境中均达到最先进性能，优于现有的单模态和多模态深度学习架构。
• 模型在低对比度或毛发遮挡情况下，仍能实现对病变区域的优越定位。
• 显著性图显示，模型正确识别出临床相关特征，如黑色素瘤中的变化行为和基底细胞癌中的解剖位置。
• 相关性图表明，模型学习到了元数据与疾病之间的有意义关联：例如，痣与年龄相关，BCC与性别和位置相关，SCC与生长行为相关。
• 尽管注意力机制关注了非医学线索（如标记），但模型仍能避免基于此类线索的误分类，表明对虚假相关性的鲁棒性。
• 对于ACK和SEK等稀疏类别，由于类内变异较小，定位精度较低，但模型在SCC等高变异类别上仍表现出良好的泛化能力。