[论文解读] Prediction of future hospital admissions - what is the tradeoff between specificity and accuracy?

Ieva Vasiljeva, Ognjen Arandjelović|arXiv (Cornell University)|Feb 27, 2016

Machine Learning in Healthcare参考文献 23被引用 9

一句话总结

本文评估了一种利用电子病历（EHR）预测未来住院的机器学习模型，重点关注预测特异性和准确性的权衡。该模型在预测98%的住院类型时，AUC仅下降0.8%，表现出优异的可扩展性和实际部署的可行性。

ABSTRACT

Large amounts of electronic medical records collected by hospitals across the developed world offer unprecedented possibilities for knowledge discovery using computer based data mining and machine learning. Notwithstanding significant research efforts, the use of this data in the prediction of disease development has largely been disappointing. In this paper we examine in detail a recently proposed method which has in preliminary experiments demonstrated highly promising results on real-world data. We scrutinize the authors' claims that the proposed model is scalable and investigate whether the tradeoff between prediction specificity (i.e. the ability of the model to predict a wide number of different ailments) and accuracy (i.e. the ability of the model to make the correct prediction) is practically viable. Our experiments conducted on a data corpus of nearly 3,000,000 admissions support the authors' expectations and demonstrate that the high prediction accuracy is maintained well even when the number of admission types explicitly included in the model is increased to account for 98% of all admissions in the corpus. Thus several promising directions for future work are highlighted.

研究动机与目标

• 评估近期提出的用于预测未来住院的机器学习模型，当显式建模的住院类型数量增加时，其预测准确性是否仍保持较高水平。
• 探究在真实世界电子健康记录（EHR）数据中，模型特异性（预测的疾病数量）与预测准确性之间的权衡关系。
• 确定当模型扩展至覆盖真实世界数据集中大部分住院病例时，其性能是否保持稳定可靠。
• 评估模型的预测能力在不同疾病类型之间是否均匀分布，或是否偏向于常见疾病。
• 通过提升粒度、引入时间建模以及采用替代的显著住院类型选择标准，识别改进模型临床实用性的实际方向。

提出的方法

• 该模型采用患者既往住院记录的历史向量表示法，其中每个元素对应国际疾病分类第10版（ICD-10）分类系统中的一个诊断相关组（DRG）代码。
• 该方法采用条件马尔可夫链模型（CMC）来基于历史向量中的既往住院序列计算未来住院的概率。
• 基于数据集中DRG代码的频率选择显著的DRG代码，将包含的代码数量从10个到200个不等，以评估模型的可扩展性。
• 通过受试者工作特征曲线下面积（AUC）和正确住院类型的平均预测排名来评估性能。
• 在覆盖数据集中总住院病例61%、91%和98%的不同覆盖率水平下，测量模型的预测性能。
• 分析预测排名直方图，以评估性能下降是否在不同DRG代码间均匀分布，或是否集中在特定疾病上。

实验结果

研究问题

• RQ1 当显式建模的住院类型数量超过原始的30个代码后，模型的预测准确性是否显著下降？
• RQ2 在覆盖高达98%的全部住院病例时，特异性（预测的疾病数量）与准确性的权衡是否具有实际可行性？
• RQ3 若存在性能下降，其是否对某些疾病类型影响更大，还是在所有疾病类型中均匀分布？
• RQ4 随着显著DRG代码数量的增加，正确住院类型的平均预测排名如何变化？
• RQ5 当使用更细粒度的DRG代码或在住院历史中引入时间信息时，模型是否仍能保持高性能？

主要发现

• 即使将显式建模的DRG代码数量增加至覆盖数据集中98%的住院病例，该模型仍保持高度的预测准确性。
• 当覆盖率从61%提高到98%时，受试者工作特征曲线下面积（AUC）仅下降0.8%，表明性能下降极小。
• 正确住院类型的平均预测排名从10个显著代码时的约1.5，上升至200个显著代码时的7.3，表明排名精度有所下降，但并非灾难性。
• 性能下降在不同DRG代码间均匀分布，表明无论患者具体患何种疾病，其预测可靠性均保持一致。
• 该模型对包含较少见但具有临床意义的疾病条件的敏感性较低，因为性能下降幅度小且具有一致性。
• 结果支持原作者的主张：该模型具有良好的可扩展性，是具备广泛疾病覆盖能力的实际临床部署的有力候选。