[论文解读] Trust and Medical AI: The challenges we face and the expertise needed to overcome them

Thomas P. Quinn, Manisha Senadeera+3 more|arXiv (Cornell University)|Aug 18, 2020

Artificial Intelligence in Healthcare and Education参考文献 26被引用 4

一句话总结

本文提出在数字医学领域建立三个专业专家小组——开发者、验证者和操作人员——以应对医疗人工智能在概念、技术和人文层面的挑战。通过创建认证培训项目和治理框架，作者认为，可通过专家主导的AI系统开发、验证和临床整合，维护医疗人工智能及医疗体系的信任。

ABSTRACT

Artificial intelligence (AI) is increasingly of tremendous interest in the medical field. However, failures of medical AI could have serious consequences for both clinical outcomes and the patient experience. These consequences could erode public trust in AI, which could in turn undermine trust in our healthcare institutions. This article makes two contributions. First, it describes the major conceptual, technical, and humanistic challenges in medical AI. Second, it proposes a solution that hinges on the education and accreditation of new expert groups who specialize in the development, verification, and operation of medical AI technologies. These groups will be required to maintain trust in our healthcare institutions.

研究动机与目标

• 识别并解决阻碍人工智能在医学中安全可信部署的主要概念、技术和人文挑战。
• 提出以开发者、验证者和操作人员三个专家小组为核心的治理模型，确保医疗保健中人工智能的负责任开发与整合。
• 倡导在数字医学领域实施正式教育与认证，以培养一支能够维护公众对医疗人工智能信任的新一代专业人才。
• 通过主动管理人工智能系统中的偏见、对抗性攻击和数据泄露等风险，防止医疗体系信任的削弱。
• 使医疗人工智能治理与循证医学的严谨性及药品监管标准（如FDA标准）保持一致。

提出的方法

• 提出三级专家框架：开发者（设计人工智能）、验证者（评估性能）和操作人员（在临床环境中实施和监控人工智能）。
• 建议计算机科学家与临床医生之间开展跨学科合作，以确保人工智能应用的医学相关性和技术可行性。
• 倡导通过本科和研究生学位课程，将计算机科学、健康科学和医学伦理相结合，实现数字医学的正式认证。
• 建议采用循证医学标准（如人工智能模型评估的随机临床试验），超越预测准确性的评估，以衡量临床影响。
• 提倡采用多学科批判性评审的同行评审机制，包括伦理和社会影响，以确保方法论的严谨性。
• 建议建立机构机制，如“图灵印章”和监管监督（如FDA），以正式验证人工智能系统，类比药品安全规程。

实验结果

研究问题

• RQ1 对人工智能能力的概念性误解如何损害其在临床环境中的安全部署？
• RQ2 当将LSTM等人工智能模型应用于EEG信号等复杂医学数据时，会面临哪些技术挑战，如何加以缓解？
• RQ3 偏见、数据泄露和对抗性攻击在哪些方面会损害医疗人工智能系统的可靠性和可信度？
• RQ4 临床医生与计算机科学家之间的跨学科合作如何改善临床相关人工智能模型的设计与验证？
• RQ5 为确保通过专家治理和临床整合实现医疗人工智能的长期信任，需要哪些制度和教育改革？

主要发现

• 在人工智能研究中若未能明确定义研究问题和假设，可能导致模型设计缺陷，例如在住院患者数据上进行训练，却意图用于社区筛查工具。
• 过拟合和数据泄露是重大的技术风险，若分析师未能充分理解并加以缓解，将使模型性能无效。
• 人工智能系统可能无意中复制训练数据中存在的偏见，特别是在临床分类学或病理生理学尚无共识的疾病中。
• 操作人员常因人工智能建议不透明或缺乏临床相关性而拒绝采纳，凸显了以用户为中心的设计以及临床医生对人工智能的素养的重要性。
• 医疗保健中人工智能的正式验证应超越预测准确性，还应包括临床结局，其标准应与循证医学中的标准相当。
• 建立认证的数字医学课程以及设立如“数字医生”和“数字护士”等专业角色，对于维护患者信任并确保人工智能负责任部署至关重要。