[论文解读] Zero-shot causal learning

Hamed Nilforoshan, Michael Moor+6 more|arXiv (Cornell University)|Jan 28, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 CaML，一种因果元学习框架，仅通过干预特征和个体特征，即可实现对新干预措施（如新药）的零样本个性化治疗效果预测。通过将每个干预视为一个元学习任务，并在数千个历史干预上训练统一模型，CaML 在未见干预上实现泛化，性能优于在测试数据上微调的基线模型。

ABSTRACT

Predicting how different interventions will causally affect a specific individual is important in a variety of domains such as personalized medicine, public policy, and online marketing. There are a large number of methods to predict the effect of an existing intervention based on historical data from individuals who received it. However, in many settings it is important to predict the effects of novel interventions (e.g., a newly invented drug), which these methods do not address. Here, we consider zero-shot causal learning: predicting the personalized effects of a novel intervention. We propose CaML, a causal meta-learning framework which formulates the personalized prediction of each intervention's effect as a task. CaML trains a single meta-model across thousands of tasks, each constructed by sampling an intervention, its recipients, and its nonrecipients. By leveraging both intervention information (e.g., a drug's attributes) and individual features~(e.g., a patient's history), CaML is able to predict the personalized effects of novel interventions that do not exist at the time of training. Experimental results on real world datasets in large-scale medical claims and cell-line perturbations demonstrate the effectiveness of our approach. Most strikingly, \method's zero-shot predictions outperform even strong baselines trained directly on data from the test interventions.

研究动机与目标

• 解决在缺乏治疗个体历史数据的情况下，预测新干预措施（如新药）因果效应的迫切需求。
• 克服现有 CATE 估计器依赖于目标干预特定训练数据的局限性。
• 通过利用干预特征和个体层面特征，实现在新干预和新个体上的零样本泛化。
• 开发一种可扩展且高效的元学习框架，融合干预特征与个体特征，以预测个性化治疗效果。
• 证明单一元模型可泛化至新干预的组合，即使仅在单个干预上进行训练。

提出的方法

• 将每个干预的个性化因果效应预测建模为独立的元学习任务，利用历史数据中的回顾性自然实验。
• 训练单一元模型，通过融合干预特征（如药物属性）与个体特征（如患者病史）来预测治疗效果。
• 通过 RA-learner 进行伪结果估计，为每个元任务计算训练目标：对治疗个体，$\tilde{\tau} = Y - \hat{\mu}_0(X)$。
• 将干预信息 $W$ 作为元模型的输入，实现对训练期间未见过的干预的零样本泛化。
• 使用元学习优化方法（如 Reptile）训练元模型，使其能够基于干预特征和个体特征适应新干预。
• 为所有任务使用共享架构（如 MLP），并通过端到端学习干预表示，实现在多样化干预间的对齐。

Figure 1: Overview of the zero-shot causal learning problem. Each individual has features ( $X$ ), an intervention with features ( $W$ ), and an outcome ( $Y$ ). Lightning bolts ( \faBolt ) represent interventions ( e.g. drugs). The personalized effect of an intervention ( $\tau$ ) is always unobser

实验结果

研究问题

• RQ1 单一元模型是否能在不依赖目标干预任何训练数据的情况下，预测其个性化治疗效果？
• RQ2 当仅在单个干预上进行训练时，所提出的 CaML 框架在组合新干预上的泛化能力如何？
• RQ3 使用 CaML 进行零样本预测是否优于在测试干预数据上微调的强基线模型？
• RQ4 引入干预特征（如分子结构、药物类别）对零样本因果泛化有何影响？
• RQ5 在分布偏移条件下（如预测新患者亚群或新生物背景下的效应），模型是否能保持稳健性能？

主要发现

• CaML 在医学索赔数据集和 LINCS 细胞系扰动数据集上均实现了卓越的零样本性能，优于在测试干预数据上直接微调的基线模型。
• 在 LINCS 数据集中，CaML 的零样本 PEHE（异质效应估计精度）显著低于强基线模型，表明其在估计个体水平治疗效果方面具有更高准确性。
• 即使仅在单个干预上进行训练，CaML 在推理时仍能准确预测组合新干预的效果，展现出强大的组合泛化能力。
• 该模型性能超越了先前的零样本方法（如 GraphITE 和 Structured Intervention Networks），后者是文献中唯一具备类似能力的方法。
• 推导出一个理论上的零样本泛化边界，解释了模型通过对齐干预表示，实现在干预空间与个体空间之间泛化的能力。
• 经过超参数优化的 StarGraph 嵌入在下游任务中实现了超过 93% 的分类准确率，表明其在干预特征表示学习方面具有高效性。

Figure 2: Visual illustration of the CaML (causal meta-learning) framework. (1) We sample a task (i.e., an intervention) and a natural experiment from the training data consisting of individuals who either received the intervention (W={ \faBolt }), or did not (W={}). Each individual has features ( $