[论文解读] Penalized regression adjusted causal effect estimates in high dimensional randomized experiments

Hanzhong Liu, Yuehan Yang|arXiv (Cornell University)|Sep 24, 2018

Advanced Causal Inference Techniques被引用 3

一句话总结

本文在Neyman-Rubin潜在结果框架下，针对高维随机实验，建立了惩罚回归调整的平均因果效应（ACE）估计量（Ridge、Elastic Net、Adaptive Lasso）的渐近正态性与效率提升。证明了当风险一致时，这些估计量的渐近方差不超过差异均值估计量，并提供了保守的方差估计量以构造有效的置信区间。

ABSTRACT

Regression adjustments are often considered by investigators to improve the estimation efficiency of causal effect in randomized experiments when there exists many pre-experiment covariates. In this paper, we provide conditions that guarantee the penalized regression including the Ridge, Elastic Net and Adapive Lasso adjusted causal effect estimators are asymptotic normal and we show that their asymptotic variances are no greater than that of the simple difference-in-means estimator, as long as the penalized estimators are risk consistent. We also provide conservative estimators for the asymptotic variance which can be used to construct asymptotically conservative confidence intervals for the average causal effect (ACE). Our results are obtained under the Neyman-Rubin potential outcomes model of randomized experiment when the number of covariates is large. Simulation study shows the advantages of the penalized regression adjusted ACE estimators over the difference-in-means estimator.

研究动机与目标

• 解决在具有大量预处理协变量的高维随机实验中，差异均值估计量效率低下的问题。
• 在Neyman-Rubin模型下，为惩罚回归调整的ACE估计量建立理论保证——特别是渐近正态性与方差减小。
• 提供保守的方差估计量，以在高维设置下构造渐近有效的置信区间。
• 将低维回归调整理论扩展至高维设置，其中普通最小二乘法因过拟合而失效。
• 研究Ridge、Elastic Net与Adaptive Lasso在高维协变量下的有限样本表现与稳健性。

提出的方法

• 使用Neyman-Rubin潜在结果模型，将平均因果效应（ACE）定义为处理组与对照组潜在结果的均值差异。
• 应用惩罚回归（Ridge、Elastic Net、Adaptive Lasso）调整高维协变量，替代普通最小二乘法以避免过拟合。
• 推导出惩罚回归调整的ACE估计量渐近正态且方差不超过未调整差异均值估计量的条件。
• 提出基于惩罚估计量渐近方差的保守方差估计量，以实现有效的置信区间。
• 采用自举重抽样（B=500）估计标准误，并在模拟中评估覆盖概率与区间长度。
• 分析在不放回有限总体抽样下，正则化对估计效率与推断有效性的影响。

实验结果

研究问题

• RQ1 在高维随机实验中，惩罚回归调整的ACE估计量在何种条件下渐近正态？
• RQ2 在风险一致性条件下，惩罚回归估计量的渐近方差是否不超过差异均值估计量？
• RQ3 基于惩罚估计量渐近方差推导出的保守方差估计量是否能产生渐近保守的置信区间？
• RQ4 在高维设置下，Ridge、Elastic Net与Adaptive Lasso相对于未调整与OLS估计量，在偏差、方差与覆盖概率方面表现如何？
• RQ5 模型误设（如非线性关系、固定协变量）对高维协变量下惩罚回归调整在因果推断中的表现有何影响？

主要发现

• 在风险一致且满足弱正则性条件时，惩罚回归调整的ACE估计量（Ridge、Elastic Net、Adaptive Lasso）渐近正态。
• 所有惩罚估计量的渐近方差均不大于差异均值估计量，证实了效率提升。
• 推导出保守方差估计量，并证明其可产生渐近保守的置信区间，有限样本中显著改善了覆盖概率。
• 模拟结果表明，Lasso、Elastic Net与Adaptive Lasso估计量的均方误差（MSE）与方差显著低于未调整的差异均值估计量，尤其在高维设置下。
• 未经调参的朴素Elastic Net估计量（无调参）覆盖概率较差（例如，在(500,120)下为52.3%），而经过适当调参的版本（如EN、Ada）覆盖概率保持在90%以上。
• Ridge与Adaptive Lasso估计量在MSE与区间长度方面始终优于未调整与OLS估计量，某些情景下MSE降低高达70%。