[论文解读] NCoRE: Neural Counterfactual Representation Learning for Combinations of Treatments

Sonali Parbhoo, Stefan Bauer+1 more|arXiv (Cornell University)|Mar 20, 2021

Advanced Causal Inference Techniques参考文献 40被引用 5

一句话总结

NCoRE 是一种新颖的神经网络框架，用于在存在多个并发治疗的情境下进行反事实推理，通过在分支条件表示中引入可学习的治疗交互调制器来建模跨治疗交互。它在合成数据、半合成数据和真实世界基准测试中显著优于当前最先进方法，尤其在治疗组合变得复杂时表现更优。

ABSTRACT

Estimating an individual's potential response to interventions from observational data is of high practical relevance for many domains, such as healthcare, public policy or economics. In this setting, it is often the case that combinations of interventions may be applied simultaneously, for example, multiple prescriptions in healthcare or different fiscal and monetary measures in economics. However, existing methods for counterfactual inference are limited to settings in which actions are not used simultaneously. Here, we present Neural Counterfactual Relation Estimation (NCoRE), a new method for learning counterfactual representations in the combination treatment setting that explicitly models cross-treatment interactions. NCoRE is based on a novel branched conditional neural representation that includes learnt treatment interaction modulators to infer the potential causal generative process underlying the combination of multiple treatments. Our experiments show that NCoRE significantly outperforms existing state-of-the-art methods for counterfactual treatment effect estimation that do not account for the effects of combining multiple treatments across several synthetic, semi-synthetic and real-world benchmarks.

研究动机与目标

• 为解决在多个治疗同时应用时估计治疗效果的挑战，这是因果推断中常见但研究不足的场景。
• 克服观察数据中可能治疗组合的组合爆炸问题，尤其是在许多组合未被观测到的情况下。
• 开发一种可扩展且表达能力强的模型，以捕捉跨治疗交互，从而提升对未见组合的泛化能力。
• 将现有反事实推理方法从单个或顺序治疗扩展到多治疗并发设置。
• 在包括高维和有偏观察数据在内的多样化数据环境下，展示改进的性能和鲁棒性。

提出的方法

• NCoRE 采用分支条件神经表示，包含共享子网络和治疗特异性子网络，以建模单个治疗效应。
• 它引入可学习的治疗交互调制器，显式建模治疗组合如何影响结果。
• 该模型使用基于协变量和治疗集合的条件表示，支持对任意治疗组合的反事实预测。
• 交互子网络在治疗对之间共享参数，实现知识迁移并提升样本效率。
• 该架构通过对比学习目标端到端训练，以提升反事实预测的表示质量。
• 通过利用学习到的交互模式，支持对罕见或未观测到的治疗组合进行外推。

实验结果

研究问题

• RQ1 当数据中许多治疗组合未被观测到时，神经模型能否有效学习并发治疗组合的反事实表示？
• RQ2 与将治疗独立处理的方法相比，显式建模治疗交互如何提升性能？
• RQ3 NCoRE 在治疗数量增加和样本量减少时的可扩展性如何？
• RQ4 在观察数据中存在治疗分配偏差的情况下，NCoRE 的鲁棒性如何？
• RQ5 NCoRE 能否泛化到未见的治疗组合，例如在多基因敲除实验中？

主要发现

• NCoRE 在所有合成数据、半合成数据和真实世界基准测试中，显著优于当前最先进基线方法，包括 Deconfounder 和其他 SOTA 方法。
• 在模拟数据集上，NCoRE 在所有治疗数量下均保持最低的 RMSE，且随着治疗数量增加，性能差距进一步扩大。
• NCoRE 在较少的训练样本下实现更低的 RMSE，表明其因共享交互建模而具备更优的样本效率。
• NCoRE 在广泛的治疗分配偏差水平（κ ∈ [5, 20]）下表现稳健，在每个偏差水平上均优于基线方法。
• 在 CRISPR-Cas9 多基因敲除实验中，NCoRE 成功外推到未见的三重敲除组合，展示了其泛化能力。
• 交互子网络的引入至关重要，消融实验表明，当未建模交互时性能显著下降。