[论文解读] Why we do need Explainable AI for Healthcare

Giovanni Cinà, Tabea E. Röber+2 more|arXiv (Cornell University)|Jun 30, 2022

Artificial Intelligence in Healthcare and Education被引用 14

一句话总结

本文主张，尽管对可解释人工智能（XAI）存在合理批评，但在医疗保健领域其依然至关重要，因为它可实现人工监督，减轻偏见风险与控制力丧失问题，并支持人工智能在临床决策中的可信整合。作者提倡持续研究并负责任地部署XAI技术，以维护临床医生的自主权，防止患者照护的人性化丧失。

ABSTRACT

The recent spike in certified Artificial Intelligence (AI) tools for healthcare has renewed the debate around adoption of this technology. One thread of such debate concerns Explainable AI and its promise to render AI devices more transparent and trustworthy. A few voices active in the medical AI space have expressed concerns on the reliability of Explainable AI techniques, questioning their use and inclusion in guidelines and standards. Revisiting such criticisms, this article offers a balanced and comprehensive perspective on the utility of Explainable AI, focusing on the specificity of clinical applications of AI and placing them in the context of healthcare interventions. Against its detractors and despite valid concerns, we argue that the Explainable AI research program is still central to human-machine interaction and ultimately our main tool against loss of control, a danger that cannot be prevented by rigorous clinical validation alone.

研究动机与目标

• 回应人们对可解释人工智能（XAI）在医疗领域可靠性与实用性的日益关注。
• 评估并回应针对XAI技术的批评，这些批评质疑其准确性、可用性及其在临床环境中的适用性。
• 论证XAI在维护人类对日益复杂的医疗人工智能系统监督与控制方面依然至关重要。
• 强调XAI并非临床验证的替代品，而是确保安全与信任的必要补充。
• 推动负责任地开发与部署XAI，针对多样化的用户需求与临床情境进行定制。

提出的方法

• 系统性回顾与批判性评估医疗领域对XAI的主要批评。
• 区分局部与全局、模型特定与模型无关的XAI技术，重点强调对黑箱模型的事后解释。
• 分析失败模式，如对抗性攻击、分布偏移以及不可靠的解释，同时论证通过意识提升与技术优化可有效管理这些风险。
• 评估XAI在检测偏见、支持临床决策以及实现可审计性与问责制方面的作用。
• 提出一种监管与方法论框架，允许灵活、面向用户的XAI应用，而不强制采用单一技术。
• 强调交互式机器学习与情境感知的解释设计，以满足多样化的临床用户需求。

实验结果

研究问题

• RQ1 尽管存在对抗性攻击与分布偏移等已知故障模式，XAI技术是否仍可信赖？
• RQ2 在高风险的医疗人工智能应用中，XAI在多大程度上可支持人工监督并防止控制力丧失？
• RQ3 在临床人工智能系统中，模型性能与可解释性之间是否存在合理的权衡？
• RQ4 如何在不采用‘一刀切’方法的前提下，将XAI适配于不同临床用户与应用场景？
• RQ5 鉴于偏见与意外后果的风险，为何XAI在医疗保健领域相较于其他领域尤为必要？

主要发现

• 尽管存在解释不可靠及易受对抗性噪声影响等局限，XAI技术仍是提升人工智能驱动医疗保健透明度与信任度的宝贵工具。
• XAI有助于临床医生识别偏见、理解模型行为，并在结合临床专业知识时做出更明智的决策。
• 可解释性并无客观真值，但这并不否定XAI；相反，它要求开展情境特定的评估与持续改进。
• XAI并非临床验证的替代品，而是提供关键的额外监督层，可预防意外伤害。
• 人工智能可能依赖虚假相关性或在代表性不足群体中表现不佳，这凸显了医疗保健中可解释性的必要性。
• 作者得出结论：XAI不应被放弃，而应积极推进，因为它在维护人类控制力与防止患者照护的人性化丧失方面具有核心作用。