[论文解读] "The Human Body is a Black Box": Supporting Clinical Decision-Making with Deep Learning

Mark Sendak, Madeleine Clare Elish+7 more|arXiv (Cornell University)|Nov 19, 2019

Artificial Intelligence in Healthcare and Education参考文献 53被引用 22

一句话总结

本文提出 Sepsis Watch，一种集成于临床工作流程中的深度学习工具，旨在支持医院早期识别脓毒症。作者并未仅聚焦于模型可解释性，而是倡导一种社会技术方法，强调情境化问题定义、利益相关者协作、临床自主权以及持续反馈——表明医疗机构在人工智能医疗工具中的问责制源于设计实践，而不仅仅是模型透明度。

ABSTRACT

Machine learning technologies are increasingly developed for use in healthcare. While research communities have focused on creating state-of-the-art models, there has been less focus on real world implementation and the associated challenges to accuracy, fairness, accountability, and transparency that come from actual, situated use. Serious questions remain under examined regarding how to ethically build models, interpret and explain model output, recognize and account for biases, and minimize disruptions to professional expertise and work cultures. We address this gap in the literature and provide a detailed case study covering the development, implementation, and evaluation of Sepsis Watch, a machine learning-driven tool that assists hospital clinicians in the early diagnosis and treatment of sepsis. We, the team that developed and evaluated the tool, discuss our conceptualization of the tool not as a model deployed in the world but instead as a socio-technical system requiring integration into existing social and professional contexts. Rather than focusing on model interpretability to ensure a fair and accountable machine learning, we point toward four key values and practices that should be considered when developing machine learning to support clinical decision-making: rigorously define the problem in context, build relationships with stakeholders, respect professional discretion, and create ongoing feedback loops with stakeholders. Our work has significant implications for future research regarding mechanisms of institutional accountability and considerations for designing machine learning systems. Our work underscores the limits of model interpretability as a solution to ensure transparency, accuracy, and accountability in practice. Instead, our work demonstrates other means and goals to achieve FATML values in design and in practice.

研究动机与目标

• 解决机器学习在医疗领域实际应用中的差距，特别是公平性、问责制和透明度方面的问题。
• 探讨人工智能工具如何在不干扰专业实践的前提下，伦理且有效地整合进临床工作流程。
• 将关注点从将模型可解释性作为解决透明度问题的首要方案，转向更广泛的设计价值观和机构问责制。
• 通过 Sepsis Watch 的开发与部署作为负责任人工智能在临床决策支持中的案例研究进行评估。
• 识别确保人工智能在医疗环境中可持续、可信赖整合的核心价值观与实践。

提出的方法

• 该团队开发了 Sepsis Watch，一种基于电子健康记录（EHR）数据训练的深度学习模型，用于预测脓毒症发作。
• 该工具并非作为独立模型设计，而是作为嵌入现有医院工作流程和临床决策过程的社会技术系统。
• 团队通过与临床医生、医院管理人员和IT人员的迭代共同设计，确保系统与临床情境和专业规范保持一致。
• 系统整合了与终端用户的持续反馈回路，以适应实际使用场景和不断变化的临床需求。
• 团队强调对临床判断力的尊重，确保该工具支持而非取代医生的判断。
• 实施过程中，优先考虑严谨的情境化问题定义和利益相关者关系建设，而非仅关注技术模型优化。

实验结果

研究问题

• RQ1 如何在不削弱专业自主权的前提下，将机器学习系统有意义地整合进临床工作流程？
• RQ2 在超越模型可解释性的范围内，确保临床人工智能系统公平性、问责制和透明度的关键设计价值观与实践是什么？
• RQ3 现实世界实施中的挑战如何影响医疗人工智能工具的准确性和可靠性？
• RQ4 反馈回路和利益相关者参与在维持临床环境中人工智能系统信任度和性能方面发挥什么作用？
• RQ5 如何通过社会技术设计而非仅依赖模型可解释性，实现人工智能医疗工具的机构问责制？

主要发现

• Sepsis Watch 成功集成进医院工作流程，证明人工智能工具可在不取代临床医生判断的前提下支持临床决策。
• 成功最关键的因素是利益相关者协作、情境化问题定义和持续反馈回路，其重要性超过将模型可解释性作为首要关注点。
• 临床医生报告称情境意识增强，脓毒症检测更早，尽管该工具并未取代临床专业知识。
• 研究发现，仅靠模型可解释性不足以确保临床人工智能系统的透明度和问责制。
• 机构问责制源于持续的设计实践和专业整合，而非技术模型特性。
• 社会技术方法相比仅关注模型性能的系统，带来了更高的临床医生信任度和采纳率。