[论文解读] Proximal Causal Learning with Kernels: Two-Stage Estimation and Moment Restriction

Afsaneh Mastouri, Yuchen Zhu+6 more|PolyPublie (École Polytechnique de Montréal)|May 10, 2021

Statistical Methods and Inference参考文献 58被引用 9

一句话总结

本文提出两种基于核的方法——两阶段回归与最大矩约束，用于在存在未观测混杂因素的近似因果模型中估计非线性因果效应，利用可观测的代理变量。该方法建立了一致性保证，并在合成数据与类真实世界数据上表现出优于先前方法的性能，尤其在有效利用代理变量方面表现突出。

ABSTRACT

We address the problem of causal effect estimation in the presence of unobserved confounding, but where proxies for the latent confounder(s) are observed. We propose two kernel-based methods for nonlinear causal effect estimation in this setting: (a) a two-stage regression approach, and (b) a maximum moment restriction approach. We focus on the proximal causal learning setting, but our methods can be used to solve a wider class of inverse problems characterised by a Fredholm integral equation. In particular, we provide a unifying view of two-stage and moment restriction approaches for solving this problem in a nonlinear setting. We provide consistency guarantees for each algorithm, and we demonstrate these approaches achieve competitive results on synthetic data and data simulating a real-world task. In particular, our approach outperforms earlier methods that are not suited to leveraging proxy variables.

研究动机与目标

• 解决在存在未观测混杂因素但存在其代理变量时估计平均处理效应（ATE）的挑战。
• 在基于核方法的近似因果学习框架中，开发一致的非参数因果效应估计方法。
• 提供一个统一的理论框架，将两阶段回归与矩约束方法联系起来，通过弗雷德霍姆积分方程求解非线性逆问题。
• 克服先前方法的局限性，这些方法缺乏一致性保证，或在非线性设定下未能有效利用代理变量。

提出的方法

• 提出一种两阶段基于核的回归方法：首先使用向量值再生核希尔伯特空间（RKHS）与希尔伯特-施密特算子，估计给定 $A, X, Z$ 的代理变量 $W$ 的条件均值嵌入。
• 在第二阶段中，利用估计出的条件均值嵌入 $\mu_{W|A,X,Z}$，通过最小化核化风险泛函，估计条件期望 $\mathbb{E}[Y - h(A,W,X) \mid A,Z,X]$。
• 通过在再生核希尔伯特空间（RKHS）中表达条件矩约束 $\mathbb{E}[Y - h(A,W,X) \mid A,Z,X]$ 的范数，构建最大矩约束方法。
• 利用表示定理及特征核与ISPD核的性质，确保在RKHS框架下解的存在性与唯一性。
• 在正则性条件下（包括真实条件均值嵌入属于算子的RKHS）建立两种方法的一致性。
• 基于弗雷德霍姆积分方程与核方法，将两阶段方法与矩约束方法统一于同一理论框架之下。

实验结果

研究问题

• RQ1 当存在未观测混杂因素且可获得其代理变量时，基于核的方法能否一致地估计平均处理效应？
• RQ2 在近似因果学习的非线性设定中，如何统一并扩展两阶段回归与矩约束方法？
• RQ3 在该框架中，基于核的两阶段与矩约束估计器具有哪些理论一致性保证？
• RQ4 在非线性设定下，这些方法与未有效利用代理变量的现有方法相比，实证表现如何？

主要发现

• 所提出的两阶段核方法在条件均值嵌入 $C_{W|A,X,Z}$ 属于算子的向量值RKHS的假设下，可实现一致性。
• 最大矩约束方法具有一致性，且等价于最小化条件矩约束在RKHS中的范数，确保解以几乎必然的方式满足矩条件。
• 两种方法在理论上均基于第一类弗雷德霍姆积分方程求解，该方程刻画了近似因果模型的结构。
• 实证结果表明，所提方法在性能上优于未设计用于利用代理变量的早期方法，尤其在非线性设定下表现更优。
• 在合成数据与模拟真实世界留级任务的数据上，方法表现出具有竞争力的性能，相较于非代理感知方法，偏差显著降低。
• 理论分析证实，核化风险泛函 $R_k(h)$ 的最小化器等价于满足条件矩约束，从而确保真实因果效应的可识别性。