[论文解读] On nearly assumption-free tests of nominal confidence interval coverage for causal parameters estimated by machine learning

Lin Liu, Rajarshi Mukherjee+1 more|arXiv (Cornell University)|Apr 8, 2019

Statistical Methods and Inference参考文献 65被引用 5

一句话总结

本文提出无假设经验覆盖检验（AFECTs），一种基于U-统计量的新方法，用于评估通过双重稳健机器学习估计的因果参数的名义置信区间的有效性。AFECTs检验估计量偏差是否与标准误同阶——这对覆盖有效性至关重要——且无需对干扰参数施加光滑性或稀疏性假设，从而在高维设置下为推断可靠性提供稳健检验。

ABSTRACT

For many causal effect parameters of interest, doubly robust machine learning (DRML) estimators $\hatψ_{1}$ are the state-of-the-art, incorporating the good prediction performance of machine learning; the decreased bias of doubly robust estimators; and the analytic tractability and bias reduction of sample splitting with cross fitting. Nonetheless, even in the absence of confounding by unmeasured factors, the nominal $(1 - α)$ Wald confidence interval $\hatψ_{1} \pm z_{α/ 2} \widehat{\mathsf{se}} [\hatψ_{1}]$ may still undercover even in large samples, because the bias of $\hatψ_{1}$ may be of the same or even larger order than its standard error of order $n^{-1/2}$. In this paper, we introduce essentially assumption-free tests that (i) can falsify the null hypothesis that the bias of $\hatψ_{1}$ is of smaller order than its standard error, (ii) can provide an upper confidence bound on the true coverage of the Wald interval, and (iii) are valid under the null under no smoothness/sparsity assumptions on the nuisance parameters. The tests, which we refer to as \underline{A}ssumption \underline{F}ree \underline{E}mpirical \underline{C}overage \underline{T}ests (AFECTs), are based on a U-statistic that estimates part of the bias of $\hatψ_{1}$.

研究动机与目标

• 为应对即使在大样本下，由于机器学习估计量的偏差，因果效应的名义置信区间可能覆盖不足的风险。
• 开发一种检验方法，可在不依赖光滑性或稀疏性假设的前提下，否定偏差相对于标准误可忽略的原假设。
• 为双重稳健机器学习估计量的Wald置信区间的真正覆盖率提供一个上置信界限。
• 实现在传统干扰参数估计假设可能失效的高维设置下的有效推断。

提出的方法

• AFECTs基于一个U-统计量，用于估计双重稳健机器学习估计量偏差的一个分量。
• 检验统计量通过样本分割和交叉拟合方法构建，以减少对干扰参数估计的依赖。
• 该方法利用高阶影响函数，对估计量的偏差贡献进行分解与估计。
• 即使真实协方差矩阵未知，也使用稳健估计量来估计影响函数的协方差矩阵。
• 该检验在最小正则性条件下渐近有效，且无需干扰参数的光滑性或稀疏性假设。
• 该方法允许检验用于证明名义覆盖性的假设的有效性，即使无法直接进行覆盖性检验。

实验结果

研究问题

• RQ1 我们能否在不假设干扰参数光滑性或稀疏性的前提下，检验双重稳健机器学习估计量的偏差是否与标准误同阶？
• RQ2 我们能否在不依赖数据生成过程的参数假设的前提下，构建名义Wald置信区间的真正覆盖率的上置信界限？
• RQ3 我们能否开发一种在原假设为偏差相对于标准误可忽略时仍有效的检验方法，即使干扰估计量表现不佳？
• RQ4 当标准假设（如光滑性）被违反时，AFECTs在多大程度上能检测到置信区间的覆盖不足？
• RQ5 在具有复杂依赖结构的高维、非光滑设置下，AFECTs与现有方法的性能相比如何？

主要发现

• AFECTs可在无需光滑性或稀疏性假设的前提下，否定双重稳健机器学习估计量偏差小于其标准误的原假设。
• 该方法在最小正则性条件下，为名义Wald区间的真正覆盖率提供了一个有效的上置信界限。
• 在模拟中，当偏差与标准误同阶时，AFECTs成功检测到覆盖不足，尤其在非光滑、高维设置下表现良好。
• 即使估计的协方差矩阵为数据自适应且其理论性质未完全确立，该检验仍保持有效性。
• AFECTs中基于U-统计量的方法对干扰参数的模型误设具有鲁棒性，并在原假设下保持正确的尺寸。
• 尽管AFECTs无法直接检验所有因果参数的覆盖不足，但可检验用于证明名义覆盖性的假设（如光滑性）的有效性，为推断验证提供实用路径。