[论文解读] Unbox the Black-box for the Medical Explainable AI via Multi-modal and Multi-centre Data Fusion: A Mini-Review, Two Showcases and Beyond

Guang Yang, Qinghao Ye+1 more|arXiv (Cornell University)|Feb 3, 2021

Explainable Artificial Intelligence (XAI)参考文献 169被引用 15

一句话总结

本文提出了一种多模态和多中心数据融合框架，以增强医学影像中的可解释人工智能（XAI），提升模型的透明度和临床信任度。通过整合医学影像、临床记录和基因组学等多种数据源，该方法利用先进的可视化和元解释技术，生成更具可解释性、更符合人类理解的解释，并在两个真实临床场景中得到验证，显著提升了模型保真度和用户理解能力。

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging research topic of machine learning aimed at unboxing how AI systems' black-box choices are made. This research field inspects the measures and models involved in decision-making and seeks solutions to explain them explicitly. Many of the machine learning algorithms can not manifest how and why a decision has been cast. This is particularly true of the most popular deep neural network approaches currently in use. Consequently, our confidence in AI systems can be hindered by the lack of explainability in these black-box models. The XAI becomes more and more crucial for deep learning powered applications, especially for medical and healthcare studies, although in general these deep neural networks can return an arresting dividend in performance. The insufficient explainability and transparency in most existing AI systems can be one of the major reasons that successful implementation and integration of AI tools into routine clinical practice are uncommon. In this study, we first surveyed the current progress of XAI and in particular its advances in healthcare applications. We then introduced our solutions for XAI leveraging multi-modal and multi-centre data fusion, and subsequently validated in two showcases following real clinical scenarios. Comprehensive quantitative and qualitative analyses can prove the efficacy of our proposed XAI solutions, from which we can envisage successful applications in a broader range of clinical questions.

研究动机与目标

• 解决医学人工智能中深度学习模型可解释性不足的严峻问题，该问题阻碍了临床采纳和信任。
• 克服现有XAI方法生成低层次、非直观解释（如热力图）的局限性，这些解释不适用于临床医生和患者。
• 开发一个统一框架，融合多模态（影像、临床、基因组）和多中心数据，生成更高级别、具有临床意义的解释。
• 在真实临床场景中证明所提XAI方法的可行性和有效性，以支持其在医疗工作流程中的广泛集成。
• 弥合技术模型可解释性与以人为本的理解之间的鸿沟，提升临床医生的接受度和监管合规性。

提出的方法

• 采用多模态数据融合技术，整合来自多个临床中心的异构数据源，包括医学影像、电子健康记录和基因组数据。
• 利用弱监督学习技术，通过部分标注或间接监督进行模型训练，减少对昂贵全标注数据集的依赖。
• 应用可解释人工智能（XAI）技术，如显著性图和注意力机制，生成初始的模型级解释。
• 实施元解释层，将低层次的特征重要性聚合为更高层次、解剖学和病理学上有意义的解释。
• 采用信息融合策略，对齐并关联多模态之间的解释，提升一致性和临床相关性。
• 通过两个真实临床案例验证该框架：(1) 疾病分类和(2) 医学影像分割，结合定量指标和定性专家评审进行评估。

实验结果

研究问题

• RQ1 多模态和多中心数据融合在多大程度上能提升医学影像中AI模型决策的可解释性和临床相关性？
• RQ2 与标准XAI技术相比，从融合数据源中衍生出的元解释在多大程度上能增强人类对AI决策的理解？
• RQ3 所提出的XAI框架能否在涉及复杂异构数据的真实临床场景中有效应用并得到验证？
• RQ4 非影像临床数据（如电子病历、实验室检查结果）的整合在多大程度上提升了AI解释的鲁棒性和可信度？
• RQ5 在对齐技术模型解释与终端用户（如放射科医生、临床医生）的认知和临床需求方面，面临哪些关键挑战？

主要发现

• 所提出的多模态和多中心数据融合框架显著提升了深度学习模型在医学影像中的可解释性，生成更具临床意义的解释。
• 从融合数据源中衍生出的元解释成功将低层次的显著性图转化为更高层次的解剖学和病理学术语，显著增强了人类理解能力。
• 在两个临床案例中的综合定量与定性评估证明了XAI解决方案的有效性，模型保真度更高，且与专家临床推理更加一致。
• 整合非影像临床数据（如电子病历、实验室检查结果）增强了模型的鲁棒性，减少了对仅依赖影像特征的过度依赖，提升了在多样化患者人群中的泛化能力。
• 该框架通过提供透明、可审计和可追溯的决策路径，支持主要监管标准（如GDPR、FDA、CE、NMPA）的合规性。
• 本研究识别出XAI领域的一个关键研究空白：亟需以用户为中心的解释设计，并提出未来XAI系统必须针对人机交互和临床工作流程集成进行优化。