[论文解读] The Optimal Dynamic Treatment Rule SuperLearner: Considerations, Performance, and Application

Lina Montoya, Mark van der Laan+4 more|arXiv (Cornell University)|Jan 29, 2021

Advanced Causal Inference Techniques参考文献 54被引用 4

一句话总结

本文提出最优动态治疗规则超级学习器（ODTR SuperLearner），一种集成机器学习方法，结合灵活算法与参数模型，以估计最大化期望结果的个体化治疗规则。通过模拟实验和一项刑事司法随机对照试验（RCT）的实际应用表明，该方法在揭示治疗效应异质性方面优于传统参数模型，尤其在使用完整算法库、连续元学习器和基于结果的风险函数时表现更优。

ABSTRACT

The optimal dynamic treatment rule (ODTR) framework offers an approach for understanding which kinds of patients respond best to specific treatments -- in other words, treatment effect heterogeneity. Recently, there has been a proliferation of methods for estimating the ODTR. One such method is an extension of the SuperLearner algorithm -- an ensemble method to optimally combine candidate algorithms extensively used in prediction problems -- to ODTRs. Following the "causal roadmap," we causally and statistically define the ODTR and provide an introduction to estimating it using the ODTR SuperLearner. Additionally, we highlight practical choices when implementing the algorithm, including choice of candidate algorithms, metalearners to combine the candidates, and risk functions to select the best combination of algorithms. Using simulations, we illustrate how estimating the ODTR using this SuperLearner approach can uncover treatment effect heterogeneity more effectively than traditional approaches based on fitting a parametric regression of the outcome on the treatment, covariates and treatment-covariate interactions. We investigate the implications of choices in implementing an ODTR SuperLearner at various sample sizes. Our results show the advantages of: (1) including a combination of both flexible machine learning algorithms and simple parametric estimators in the library of candidate algorithms; (2) using an ensemble metalearner to combine candidates rather than selecting only the best-performing candidate; (3) using the mean outcome under the rule as a risk function. Finally, we apply the ODTR SuperLearner to the "Interventions" study, an ongoing randomized controlled trial, to identify which justice-involved adults with mental illness benefit most from cognitive behavioral therapy (CBT) to reduce criminal re-offending.

研究动机与目标

• 开发一种稳健且灵活的方法，用于估计考虑不同患者亚组间治疗效应异质性的最优动态治疗规则（ODTRs）。
• 解决传统亚组分析和参数模型在捕捉协变量与治疗效应之间复杂交互作用方面的局限性。
• 通过识别哪些患者最可能从特定干预中受益（如为有精神疾病且涉及司法系统的个体提供认知行为疗法以降低再犯率），指导精准医疗。
• 为实施ODTR SuperLearner提供实用指导，包括算法库组成、元学习器选择和风险函数选取。
• 利用模拟实验和来自“Interventions”RCT的真实世界数据验证该方法，证明其在估计个体化治疗效应方面性能更优。

提出的方法

• ODTR SuperLearner通过在因果推断中扩展SuperLearner算法，利用候选估计器的集成来估计最优动态治疗规则。
• 采用两阶段方法：首先估计“blip函数”（即协变量条件下的治疗效应），然后通过元学习器组合这些估计值，形成最终规则。
• 该方法采用候选算法库，包括参数模型（如广义线性模型）和灵活的机器学习方法（如随机森林、Lasso），以增强模型适应性。
• 元学习器通过离散（仅选择）或连续（加权组合）方式结合所有候选算法的预测结果，其中连续方法表现出更优性能。
• 用于选择最优组合的风险函数基于估计规则下的平均结果（$ R_{E[Y_d]} $），相比均方误差，更能真实反映治疗规则的实际表现。
• 该方法遵循因果推断路线图，在假设无未观测混杂因素且反事实结果可一致估计的前提下，确保ODTR的识别。

实验结果

研究问题

• RQ1 在不同协变量结构下，ODTR SuperLearner与传统参数模型在估计治疗效应异质性方面表现如何比较？
• RQ2 在候选算法库中同时包含灵活的机器学习模型与参数模型，对ODTR估计性能有何影响？
• RQ3 使用结合多个算法预测结果的连续元学习器，是否优于仅选择单一表现最佳算法的方法？
• RQ4 选择均方误差与基于规则的平均结果作为风险函数，对估计ODTR的准确性有何影响？
• RQ5 在一项针对有精神疾病且涉及司法系统的个体的刑事司法随机对照试验中，ODTR SuperLearner能否有效识别出最可能从认知行为疗法中受益的亚组？

主要发现

• ODTR SuperLearner在估计治疗效应异质性方面显著优于传统参数模型，尤其在具有非线性交互作用的复杂数据生成过程（DGP）中表现更优。
• 在候选算法库中同时包含灵活的机器学习算法与简单的参数估计器，相比仅使用其中一类，能获得更准确、更稳健的ODTR估计。
• 使用结合多个算法预测结果的连续元学习器，性能优于仅选择单一表现最佳候选算法的方法。
• 以规则下的平均结果（$ R_{E[Y_d]} $）作为风险函数，相比均方误差，能产生更准确的ODTR估计，因其直接优化了治疗规则的期望结果。
• 在“Interventions”RCT中，ODTR SuperLearner识别出：对于物质使用程度较低的个体，认知行为疗法可降低再逮捕概率，表明该协变量存在差异化的治疗效应。
• 在模拟DGP 1中，该方法在分配真正最优治疗方面达到78%的匹配率，在DGP 2中达到75%，表明其在多种情景下均表现出强劲的实证性能。