[论文解读] Outlining the Design Space of Explainable Intelligent Systems for Medical Diagnosis

Yao Xie, Ge Gao+1 more|arXiv (Cornell University)|Feb 15, 2019

Explainable Artificial Intelligence (XAI)参考文献 38被引用 26

一句话总结

本文提出了一种以人为中心的可解释智能系统设计框架，用于医疗诊断，通过建模解释以模仿医生使用临床数据进行推理的方式。基于对六名医疗专业人员的访谈，研究识别出医生在诊断过程中如何优先处理不同类型的数据，从而构建了一个强调临床推理一致性而非技术透明度的设计空间，为医疗保健领域的可解释人工智能（XAI）提供了可操作的见解。

ABSTRACT

The adoption of intelligent systems creates opportunities as well as challenges for medical work. On the positive side, intelligent systems have the potential to compute complex data from patients and generate automated diagnosis recommendations for doctors. However, medical professionals often perceive such systems as black boxes and, therefore, feel concerned about relying on system generated results to make decisions. In this paper, we contribute to the ongoing discussion of explainable artificial intelligence (XAI) by exploring the concept of explanation from a human-centered perspective. We hypothesize that medical professionals would perceive a system as explainable if the system was designed to think and act like doctors. We report a preliminary interview study that collected six medical professionals' reflection of how they interact with data for diagnosis and treatment purposes. Our data reveals when and how doctors prioritize among various types of data as a central part of their diagnosis process. Based on these findings, we outline future directions regarding the design of XAI systems in the medical context.

研究动机与目标

• 为解决人工智能驱动的医疗诊断中的信任问题，理解医生如何解释和优先处理临床数据。
• 研究医疗决策背后的认知过程，以指导可解释人工智能系统的设计。
• 提出一个可解释人工智能系统的设计空间，以模仿医生的推理模式，而非仅关注算法透明度。
• 识别医生在诊断过程中使用的关键数据类型及其优先处理策略，为系统解释设计提供依据。
• 指导未来可解释人工智能系统的发展，使其在医疗专业人员眼中更具可信度和临床相关性。

提出的方法

• 对六名医疗专业人员进行了半结构化访谈，以探讨其诊断推理和数据优先处理方式。
• 分析访谈记录，识别临床医生在权衡不同数据类型（如实验室检查结果、影像学资料、患者病史）时的重复性模式。
• 采用定性主题分析方法，提取可指导系统设计的核心临床推理原则。
• 基于与医生认知工作流程的一致性，提出一个可解释人工智能系统的概念性设计空间。
• 强调‘像医生一样思考和行动’作为解释设计的核心原则，而非仅关注技术可解释性。
• 将识别出的推理模式映射到潜在的系统行为，例如根据临床情境动态调整解释优先级。

实验结果

研究问题

• RQ1 医生在诊断过程中如何优先处理不同类型临床数据？
• RQ2 医生在解释复杂患者数据时，其决策背后的认知过程是什么？
• RQ3 智能系统应如何设计才能模仿医生的推理以提升信任度和可用性？
• RQ4 在真实的诊断工作流程中，哪种形式的解释对临床医生最具意义？
• RQ5 如何构建可解释人工智能系统，以反映医疗决策的动态、情境敏感特性？

主要发现

• 医生根据临床情境优先处理数据，患者病史和症状通常优先于实验室检查结果或影像学资料。
• 决策过程具有高度迭代性和情境敏感性，涉及对各类数据的持续重新评估。
• 当解释反映医生自身的推理过程时，其可信度最高，而不仅仅是算法透明度。
• 临床医生更重视反映诊断推理路径（如鉴别诊断推理）的解释，而非技术性模型输出。
• 临床医生强烈偏好能够根据临床情境动态调整的解释，而非静态或通用的解释。
• 研究揭示，在医学领域，‘可解释性’并不仅仅关乎模型可解释性，更在于与临床认知的一致性。