[论文解读] Neural Score Matching for High-Dimensional Causal Inference

Oscar Clivio, Fabian Falck+3 more|arXiv (Cornell University)|Mar 1, 2022

Bayesian Modeling and Causal Inference被引用 4

一句话总结

该论文提出神经评分匹配（neural score matching），一种用于高维因果推断的新方法，利用神经网络学习低维平衡评分，从而在高维协变量空间中实现有效匹配。该方法减少了不平衡性并改善了处理效应估计，在包括ACIC2016、News和IHDP数据集在内的半合成基准测试中优于传统方法。

ABSTRACT

Traditional methods for matching in causal inference are impractical for high-dimensional datasets. They suffer from the curse of dimensionality: exact matching and coarsened exact matching find exponentially fewer matches as the input dimension grows, and propensity score matching may match highly unrelated units together. To overcome this problem, we develop theoretical results which motivate the use of neural networks to obtain non-trivial, multivariate balancing scores of a chosen level of coarseness, in contrast to the classical, scalar propensity score. We leverage these balancing scores to perform matching for high-dimensional causal inference and call this procedure neural score matching. We show that our method is competitive against other matching approaches on semi-synthetic high-dimensional datasets, both in terms of treatment effect estimation and reducing imbalance.

研究动机与目标

• 解决传统匹配方法在因果推断中面临的维度灾难问题。
• 开发一种基于神经网络学习多变量平衡评分的理论基础方法。
• 在不依赖结果回归的前提下，实现在高维设置下的有效匹配。
• 在具有复杂高维协变量的观察性研究中，改善处理效应估计和协变量平衡。
• 为高维数据提供一种可扩展的非参数替代方案，以替代倾向得分匹配和精确匹配。

提出的方法

• 该方法使用神经网络从高维协变量中学习低维平衡评分，该评分源自倾向得分模型的中间层。
• 匹配在学习到的平衡评分空间中通过距离度量完成，而非在原始协变量空间中进行。
• 推导出理论界，将原始协变量空间中的不平衡性与低维评分空间中的不平衡性关联起来。
• 通过分析其与平衡条件的偏离程度，将该方法扩展至非平衡评分。
• 该方法端到端训练，以最小化不平衡性，同时保持处理效应估计的准确性。
• 神经评分匹配通过专注于通过学习表示实现协变量平衡，避免了结果回归。

实验结果

研究问题

• RQ1 神经网络能否在高维设置中学习到保留协变量平衡的低维平衡评分？
• RQ2 原始协变量空间中的不平衡性与学习到的评分空间中的不平衡性之间有何关系？
• RQ3 神经评分匹配在处理效应估计和平衡度量方面能否优于传统匹配方法？
• RQ4 当协变量数量超过样本量或协变量为高维时，该方法是否仍具有鲁棒性？
• RQ5 与完整模型输出相比，选择网络中的哪一层作为平衡评分对性能有何影响？

主要发现

• 在ACIC2016数据集上，神经评分匹配实现了最低的校准误差，样本内误差为0.156 ± 0.005，验证集误差为0.311 ± 0.011。
• 在IHDP数据集上，该方法实现了0.156 ± 0.005（样本内）和0.311 ± 0.011（验证集）的ATT误差，优于LogReg PS和基于PCA的方法。
• 与随机匹配和基线方法相比，该方法显著降低了样本不平衡性，ACIC2016数据集上的验证集不平衡度为0.442 ± 0.009。
• 在News数据集上，神经评分匹配表现出具有竞争力的性能，ATT误差和不平衡度均低于PCA和随机匹配。
• 理论结果表明，原始空间中的不平衡性受评分空间中不平衡性的约束，这为在匹配中使用神经网络进行降维提供了理论依据。
• 该方法在多个基准测试中表现出鲁棒性，尽管协变量维度很高，仍持续提升了平衡性和估计准确性。