[论文解读] The Future AI in Healthcare: A Tsunami of False Alarms or a Product of Experts?

Gari D. Clifford|arXiv (Cornell University)|Jul 20, 2020

Healthcare Technology and Patient Monitoring参考文献 37被引用 4

一句话总结

该论文提出通过公开竞赛形式组建多样化的独立训练机器学习模型投票集成，以解决医疗人工智能中普遍存在的过拟合、偏差和泛化能力差的问题。通过结合按性能、独立性和上下文特征加权的算法，该方法提升了预测准确率，并提供具有临床可操作性的置信区间；公开竞赛作为可扩展的机制，用于生成此类集成模型并加速研究进展。

ABSTRACT

Recent significant increases in affordable and accessible computational power and data storage have enabled machine learning to provide almost unbelievable classification and prediction performances compared to well-trained humans. There have been some promising (but limited) results in the complex healthcare landscape, particularly in imaging. This promise has led some individuals to leap to the conclusion that we will solve an ever-increasing number of problems in human health and medicine by applying `artificial intelligence' to `big (medical) data'. The scientific literature has been inundated with algorithms, outstripping our ability to review them effectively. Unfortunately, I argue that most, if not all of these publications or commercial algorithms make several fundamental errors. I argue that because everyone (and therefore every algorithm) has blind spots, there are multiple `best' algorithms, each of which excels on different types of patients or in different contexts. Consequently, we should vote many algorithms together, weighted by their overall performance, their independence from each other, and a set of features that define the context (i.e., the features that maximally discriminate between the situations when one algorithm outperforms another). This approach not only provides a better performing classifier or predictor but provides confidence intervals so that a clinician can judge how to respond to an alert. Moreover, I argue that a sufficient number of (mostly) independent algorithms that address the same problem can be generated through a large international competition/challenge, lasting many months and define the conditions for a successful event. Finally, I propose introducing the requirement for major grantees to run challenges in the final year of funding to maximize the value of research and select a new generation of grantees.

研究动机与目标

• 解决基于回顾性医疗数据训练的医疗人工智能模型中广泛存在的过拟合和泛化能力差的问题。
• 应对单一算法预测在临床环境中缺乏可解释性和置信度估计的趋势。
• 提出一种框架，通过加权投票将多个多样化算法组合，以提升鲁棒性和可靠性。
• 倡导将公开竞赛（挑战赛）作为生成多样化、高性能且独立开发的人工智能模型的机制。
• 改革资助机制，通过激励基于竞赛的评估以及为表现优异的团队提供后续资助，以最大化研究影响力。

提出的方法

• 利用公开、开放获取的竞赛（以PhysioNet为蓝本）收集基于相同临床数据训练的多个独立机器学习算法。
• 根据每个算法的整体性能、与其他算法的独立性以及上下文相关性（可预测其在何种情况下表现更优的特征）对集成中的算法进行加权。
• 采用投票机制，通过性能加权得分聚合预测结果，生成最终更稳健的分类或预测结果。
• 在集成输出中引入置信区间，以帮助临床医生评估预测的可靠性并判断响应的紧迫性。
• 利用竞赛中的大规模国际参与，生成多样化算法方法，使整体表现优于任何单一模型。
• 提出一种资助模式，要求主要资助项目在最后一年举办竞赛，并为表现优异的团队提供后续资助。

实验结果

研究问题

• RQ1 基于多个独立训练的机器学习模型的投票集成是否能在预测医疗临床事件方面优于任何单一模型？
• RQ2 如何有意义地将置信区间整合到人工智能预测中，以支持临床决策？
• RQ3 公开竞赛在多大程度上能够生成多样化、高性能且可泛化的临床预测人工智能模型？
• RQ4 训练数据偏差和模型开发环境在多大程度上影响算法性能和泛化能力？
• RQ5 基于竞赛的评估能否替代或补充传统同行评审机制，以提升科研产出和创新能力？

主要发现

• 目前大多数医疗人工智能模型均对特定训练集存在过拟合，难以在不同患者群体或临床情境中实现泛化。
• 基于性能、独立性和上下文特征加权的多样化算法投票集成，显著提升了预测准确率和可靠性。
• 公开竞赛（如PhysioNet/CinC系列）表明，大规模国际协作可生成足够数量的独立且高性能的模型。
• 从集成预测中推导出的置信区间使临床医生能够评估警报的可靠性，并决定是否立即行动、延迟处理或重新检测。
• 当前资助体系往往无法将同行评审评分与实际科研产出相关联，表明需要替代性评估机制。
• 要求基于竞赛的评估以及为表现优异团队提供后续资助，可最大化科研价值，并加速临床实用人工智能工具的开发。