[论文解读] Overlap in Observational Studies with High-Dimensional Covariates

Alexander D’Amour, Peng Ding+3 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Causal Inference Techniques参考文献 38被引用 27

一句话总结

本文通过证明严格重叠性（即倾向得分远离0和1）在高维设置下对协变量不平衡施加了强烈的全局约束，形式化了因果推断中的维度诅咒。利用信息论，推导出均值不平衡的显式界，且该界随维度增加而变得更紧，意味着在严格重叠下，协变量均值必须几乎平衡或高度相关。

ABSTRACT

Estimating causal effects under exogeneity hinges on two key assumptions: unconfoundedness and overlap. Researchers often argue that unconfoundedness is more plausible when more covariates are included in the analysis. Less discussed is the fact that covariate overlap is more difficult to satisfy in this setting. In this paper, we explore the implications of overlap in observational studies with high-dimensional covariates and formalize curse-of-dimensionality argument, suggesting that these assumptions are stronger than investigators likely realize. Our key innovation is to explore how strict overlap restricts global discrepancies between the covariate distributions in the treated and control populations. Exploiting results from information theory, we derive explicit bounds on the average imbalance in covariate means under strict overlap and show that these bounds become more restrictive as the dimension grows large. We discuss how these implications interact with assumptions and procedures commonly deployed in observational causal inference, including sparsity and trimming.

研究动机与目标

• 形式化高维观察性研究中无混淆性与重叠性之间的张力。
• 证明严格重叠性对处理组与对照组协变量分布差异施加了全局限制。
• 通过信息论界量化协变量维度如何影响重叠可行性的机制。
• 评估这些界对常见做法（如截断和稀疏性假设）在因果推断中的影响。
• 阐明重叠性在现代基于机器学习的高维协变量因果估计方法中的作用。

提出的方法

• 将严格重叠性重新表述为处理组与对照组协变量分布之间似然比的界。
• 应用Rukhin（1997）的结果，推导出处理组与对照组分布之间χα-散度的显式上界。
• 使用Hölder不等式，将χα-散度的界转化为协变量均值不平衡的界。
• 分析在两种处理状态下协方差矩阵的算子范数，以评估依赖结构对不平衡界的影响。
• 考察三种协变量依赖结构——抑扬格型、平稳型和低秩型，以评估相关性对界紧致性的影响。
• 推导出当维度p增加时，除非算子范数随p增长，否则均值不平衡的界将按O(1/√p)或更差的速率增长。

实验结果

研究问题

• RQ1 协变量维度的增加如何影响观察性研究中严格重叠的可行性？
• RQ2 严格重叠性对处理组与对照组协变量分布差异施加了何种全局约束？
• RQ3 高维协变量之间的依赖结构在多大程度上影响不平衡界的紧致性？
• RQ4 现有做法（如截断和稀疏性假设）与严格重叠性所施加的约束如何相互作用？
• RQ5 这些重叠约束对高维场景下基于机器学习的因果推断方法有何影响？

主要发现

• 严格重叠性意味着处理组与对照组之间均值绝对不平衡必须随协变量数量的增加而缩小。
• 在协变量独立或弱依赖的情况下，均值不平衡的界按O(1/√p)缩放，维度越高，界越紧。
• 当协方差矩阵的算子范数随维度增长时，不平衡界可保持非零；若其增长缓慢，则不平衡收敛于零。
• 对于低秩依赖结构（如秩s_p = o(p)），算子范数按O(p/s_p)增长，且仅当s_p随p增长时，不平衡界才保持紧致。
• 通过χα-散度推导出的界比基于L2范数的界更紧，尤其在重叠界η较小时更为显著。
• 在独立情况下且方差有界时，算子范数为O(1)，导致随着p增加，不平衡界变得越来越严格。