[论文解读] Propensity score prediction for electronic healthcare databases using Super Learner and High-dimensional Propensity Score Methods

Cheng Ju, Mary Combs+5 more|arXiv (Cornell University)|Mar 7, 2017

Advanced Causal Inference Techniques参考文献 14被引用 7

一句话总结

本研究评估了超级学习器（Super Learner, SL）以及一种新型的SL-高维倾向得分（hdPS）混合方法，在大型电子医疗保健数据库中预测治疗分配的表现。基于三个真实世界索赔数据集，研究结果表明，SL通过自适应组合模型，其预测性能优于单一算法；将SL与hdPS结合可持续提升预测性能，为药物流行病学中的倾向得分估计提供了一种稳健且数据自适应的方法。

ABSTRACT

The optimal learner for prediction modeling varies depending on the underlying data-generating distribution. Super Learner (SL) is a generic ensemble learning algorithm that uses cross-validation to select among a "library" of candidate prediction models. The SL is not restricted to a single prediction model, but uses the strengths of a variety of learning algorithms to adapt to different databases. While the SL has been shown to perform well in a number of settings, it has not been thoroughly evaluated in large electronic healthcare databases that are common in pharmacoepidemiology and comparative effectiveness research. In this study, we applied and evaluated the performance of the SL in its ability to predict treatment assignment using three electronic healthcare databases. We considered a library of algorithms that consisted of both nonparametric and parametric models. We also considered a novel strategy for prediction modeling that combines the SL with the high-dimensional propensity score (hdPS) variable selection algorithm. Predictive performance was assessed using three metrics: the negative log-likelihood, area under the curve (AUC), and time complexity. Results showed that the best individual algorithm, in terms of predictive performance, varied across datasets. The SL was able to adapt to the given dataset and optimize predictive performance relative to any individual learner. Combining the SL with the hdPS was the most consistent prediction method and may be promising for PS estimation and prediction modeling in electronic healthcare databases.

研究动机与目标

• 评估超级学习器（SL）在大型电子医疗保健数据库中预测治疗分配表现的能力。
• 评估将SL与高维倾向得分（hdPS）变量选择方法结合以提升预测性能的有效性。
• 从预测准确率、AUC和计算效率三个方面，将SL与个体机器学习和参数模型进行比较。
• 探究数据自适应集成学习是否能够克服模型误设问题，并提升在复杂、高维索赔数据中的稳健性。

提出的方法

• 采用超级学习器（SL）作为集成学习算法，通过交叉验证最小化指定损失函数，整合多个候选预测模型。
• 候选算法库包含参数模型（如逻辑回归）和非参数方法（如梯度提升、随机森林、Lasso）。
• 采用高维倾向得分（hdPS）方法，从高维保险索赔编码中生成一组信息丰富的基于索赔的协变量。
• 将SL直接应用于原始协变量，并在引入hdPS生成的变量后再次应用，以评估性能提升。
• 通过三项指标评估模型性能：负对数似然、ROC曲线下面积（AUC）和时间复杂度。
• 在hdPS的逻辑回归步骤中应用正则化（LASSO），以减少过拟合，尤其在小样本数据集中。

实验结果

研究问题

• RQ1 超级学习器在电子医疗保健数据库中预测治疗分配的预测准确率是否优于单一预测模型？
• RQ2 将超级学习器与高维倾向得分（hdPS）方法结合，是否能相比单独使用任一方法提升预测性能？
• RQ3 SL在具有不同数据结构和规模的医疗保健数据库中的预测性能如何变化？
• RQ4 正则化对基于hdPS的预测模型有何影响，特别是在减少过拟合方面？
• RQ5 SL的数据自适应特性如何在建模复杂、高维索赔数据时提升稳健性？

主要发现

• 在所有三个医疗保健数据库中，超级学习器算法在负对数似然和AUC指标上均持续优于任何单一模型，表现出更优的预测性能。
• 将超级学习器与高维倾向得分（hdPS）变量结合，实现了最一致且最高的预测性能，尤其在最大化AUC方面表现突出。
• 在所有数据集中，梯度提升和hdPS在SL集成模型中获得了最高权重，表明其在预测中起主导作用。
• hdPS步骤中应用正则化（LASSO）带来了轻微的性能提升，表明在小样本数据集中具有优势，但在当前的大样本设置下增益有限。
• SL展现出强大的数据自适应特性，能根据底层数据结构自动调整权重，优先选择最有效的算法，从而增强稳健性。
• 本研究证实，SL具有渐近最优性，即使在缺乏正确设定的参数模型时，其表现也至少与模型库中的最佳模型相当。