[论文解读] Treatment effect estimation with disentangled latent factors

Weijia Zhang, Lin Liu+1 more|arXiv (Cornell University)|Jan 29, 2020

Advanced Causal Inference Techniques参考文献 34被引用 11

一句话总结

本文提出TEDVAE，一种变分推断方法，可将观测变量中的潜在因素解耦为工具变量、混杂因素和风险因素，以提升治疗效果估计的准确性。通过联合推断并解耦这些因素，TEDVAE在合成数据、基准数据集和真实世界数据上均实现了最先进性能，且PEHE和ATE估计误差更低。

ABSTRACT

Much research has been devoted to the problem of estimating treatment effects from observational data; however, most methods assume that the observed variables only contain confounders, i.e., variables that affect both the treatment and the outcome. Unfortunately, this assumption is frequently violated in real-world applications, since some variables only affect the treatment but not the outcome, and vice versa. Moreover, in many cases only the proxy variables of the underlying confounding factors can be observed. In this work, we first show the importance of differentiating confounding factors from instrumental and risk factors for both average and conditional average treatment effect estimation, and then we propose a variational inference approach to simultaneously infer latent factors from the observed variables, disentangle the factors into three disjoint sets corresponding to the instrumental, confounding, and risk factors, and use the disentangled factors for treatment effect estimation. Experimental results demonstrate the effectiveness of the proposed method on a wide range of synthetic, benchmark, and real-world datasets.

研究动机与目标

• 解决当观测变量中包含非混杂因素、代理变量和无关变量时，治疗效果估计存在偏差的问题。
• 克服现有方法将所有观测变量一视同仁、无法区分工具变量、混杂因素和风险因素的局限性。
• 开发一种数据驱动方法，从代理变量中推断并解耦潜在因素，以提升治疗效果估计的效率与准确性。
• 在保持多样化数据集上强性能的同时，降低对超参数调优的敏感性。
• 在高维真实世界场景中实现稳健的治疗效果估计，其中混杂因素未被观测，仅能获得其代理变量。

提出的方法

• 提出一种基于变分自编码器的框架TEDVAE，用于从观测变量中联合推断潜在因素。
• 将推断出的潜在因素解耦为三组互不相交的集合：工具变量（仅影响处理变量）、混杂因素（同时影响处理变量和结果变量）和风险因素（仅影响结果变量）。
• 采用条件变分自编码器架构，对处理变量、结果变量和观测变量的联合分布进行建模，并为每类因素设置独立的潜在空间。
• 应用解耦正则化器，以在训练过程中促进三类潜在因素之间的独立性。
• 利用解耦后的混杂因素作为调整变量，估计平均和条件平均治疗效果。
• 使用重参数化梯度的随机梯度变分推断方法端到端训练模型。

实验结果

研究问题

• RQ1 将潜在因素解耦为工具变量、混杂因素和风险因素，是否能提升观察性研究中的治疗效果估计？
• RQ2 在合成数据、基准数据集和真实世界数据上，TEDVAE相较于现有最先进方法表现如何？
• RQ3 与深度学习基线相比，TEDVAE在多大程度上降低了对超参数调优的敏感性？
• RQ4 当真实混杂因素未被观测时，TEDVAE能否有效从噪声代理变量中恢复混杂因素？
• RQ5 在高维设置下，解耦是否能带来更高效、更准确的治疗效果估计？

主要发现

• 在Twins数据集上，TEDVAE的PEHE最低（0.006 ± 0.002），显著优于所有基线方法，包括GANITE、CEVAE和X-RF。
• 在IHDP基准测试中，TEDVAE在Setting A（0.034 ± 0.002）和Setting B（0.038 ± 0.007）中均取得最低PEHE，且Wilcoxon符号秩检验的p值均小于0.05。
• TEDVAE在无需超参数调优的情况下，于各数据集上均保持一致的性能表现，展现出卓越的鲁棒性与泛化能力。
• 该方法显著降低了平均治疗效果（ATE）的估计误差，其在Twins数据集上的εATE最小（0.006 ± 0.002），甚至优于专门设计的模型如GANITE。
• TEDVAE在合成数据和真实世界数据上均表现优异，表明其在处理代理变量和未观测混杂因素方面具有高度有效性。
• 解耦后的潜在因素可实现更精确的混杂调整，从而在治疗效果估计中实现更低偏差与更高效率。