[论文解读] Self-eXplainable AI for Medical Image Analysis: A Survey and New Outlooks

Junlin Hou, Shuya Liu+5 more|arXiv (Cornell University)|Oct 3, 2024

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

对医疗影像分析中的自解释型 AI（S-XAI）的全面综述，提出一个三组成分类法（输入、模型、输出可解释性），并回顾截至 Sep 2024 的超过 200 篇论文。

ABSTRACT

The increasing demand for transparent and reliable models, particularly in high-stakes decision-making areas such as medical image analysis, has led to the emergence of eXplainable Artificial Intelligence (XAI). Post-hoc XAI techniques, which aim to explain black-box models after training, have raised concerns about their fidelity to model predictions. In contrast, Self-eXplainable AI (S-XAI) offers a compelling alternative by incorporating explainability directly into the training process of deep learning models. This approach allows models to generate inherent explanations that are closely aligned with their internal decision-making processes, enhancing transparency and supporting the trustworthiness, robustness, and accountability of AI systems in real-world medical applications. To facilitate the development of S-XAI methods for medical image analysis, this survey presents a comprehensive review across various image modalities and clinical applications. It covers more than 200 papers from three key perspectives: 1) input explainability through the integration of explainable feature engineering and knowledge graph, 2) model explainability via attention-based learning, concept-based learning, and prototype-based learning, and 3) output explainability by providing textual and counterfactual explanations. This paper also outlines desired characteristics of explainability and evaluation methods for assessing explanation quality, while discussing major challenges and future research directions in developing S-XAI for medical image analysis.

研究动机与目标

• 在高风险医疗影像应用中激发对本质可解释 AI 的需求。
• 提供跨图像分析流程（输入、模型、输出）的 S-XAI 方法的系统性分类法。
• 总结在医疗图像领域中使用的 S-XAI 的模态、应用、数据集和评估指标。
• 突出挑战、空白与未来方向，以指导研究人员和从业者。

提出的方法

• 提出与 DNN 组件对齐的三部分 S-XAI 分类法：输入可解释性、模型可解释性和输出可解释性。
• 评述来自会议与期刊的 200+ 篇论文（2018–Sept 2024），覆盖多模态与多应用领域。
• 涵盖输入可解释性方法：可解释的特征工程与知识图谱（先验、数据与混合）。
• 涵盖模型可解释性方法：基于注意力的学习（结构引导和损失引导）、基于概念的学习（监督、无监督、生成，包含文本与可视概念）。
• 讨论输出可解释性，包括对比反事实与文本解释，并概述评估标准。

实验结果

研究问题

• RQ1 应用于医疗影像分析的自解释 AI 方法有哪些？
• RQ2 如何将输入、模型和输出可解释性集成以提升医疗影像模型的信任度与透明度？
• RQ3 在医疗影像中的 S-XAI 中，哪些模态、应用和数据集被最广泛研究，存在哪些评估方法？
• RQ4 在临床实践中，S-XAI 面临的主要挑战与未来方向是什么？

主要发现

• 从 2018 年到 2024 年，S-XAI 研究呈上升趋势，医疗影像论文约占总数的一半。
• 输入可解释性利用可解释的特征工程和知识图谱（先验、数据、混合）注入领域知识。
• 模型可解释性依赖于基于注意力、基于概念和原型式设计以产生内在解释。
• 输出可解释性包括与预测一起生成文本解释或对比反事实解释等。
• 讨论对可解释性质量的综合评估，强调保真度、可解释性和临床有用性作为关键标准。
• 该综述指出主要挑战（如知识图谱劳动力强度、数据异质性、对解释的评估）并概述未来方向。