[论文解读] Uniformly Valid Post-Regularization Confidence Regions for Many Functional Parameters in Z-Estimation Framework

Alexandre Belloni, Victor Chernozhukov+2 more|arXiv (Cornell University)|Dec 23, 2015

Statistical Methods and Inference参考文献 34被引用 13

一句话总结

本文针对高维Z-估计模型中大量函数参数的统一有效联合置信带提出了方法，其中参数数量 $ ilde{p}$ 可能远大于样本量 $n$。该方法通过正交化得分函数的重加权自展法构造置信带，无需求解高维优化问题，在弱正则性条件下实现统一有效性，并支持在功能逻辑回归等模型中对整个条件分布函数进行推断。

ABSTRACT

In this paper we develop procedures to construct simultaneous confidence bands for $ ilde p$ potentially infinite-dimensional parameters after model selection for general moment condition models where $ ilde p$ is potentially much larger than the sample size of available data, $n$. This allows us to cover settings with functional response data where each of the $ ilde p$ parameters is a function. The procedure is based on the construction of score functions that satisfy certain orthogonality condition. The proposed simultaneous confidence bands rely on uniform central limit theorems for high-dimensional vectors (and not on Donsker arguments as we allow for $ ilde p \gg n$). To construct the bands, we employ a multiplier bootstrap procedure which is computationally efficient as it only involves resampling the estimated score functions (and does not require resolving the high-dimensional optimization problems). We formally apply the general theory to inference on regression coefficient process in the distribution regression model with a logistic link, where two implementations are analyzed in detail. Simulations and an application to real data are provided to help illustrate the applicability of the results.

研究动机与目标

• 解决模型选择后高维模型中大量函数参数缺乏统一有效推断程序的问题。
• 在 $ ilde{p} \gg n$ 的矩条件模型中，为连续参数族（包括无限维对象）构建联合置信带。
• 通过功能回归模型（如逻辑链接的分布回归）实现对响应变量完整条件分布的推断。
• 开发计算高效的算法，通过依赖估计得分函数的重采样避免重复求解高维优化问题。
• 在弱矩条件和稀疏性条件下，建立重加权自展法在高维干扰参数中的理论有效性。

提出的方法

• 构建满足Neyman正交性条件的正交化得分函数，以确保对干扰参数估计误差的鲁棒性。
• 采用重加权自展程序，仅对估计的得分函数进行重采样，避免重复求解高维优化问题。
• 使用高维向量的均匀中心极限定理（非Donsker型论证）来在 $ ilde{p} \gg n$ 条件下证明渐近正态性。
• 通过度量熵积分实施基于熵的复杂度控制，以界定函数类上经验过程的上确界。
• 实施两步估计策略：首先通过Lasso或Post-Lasso估计高维干扰参数，然后利用残差化得分函数构造置信带。
• 利用重加权自展法的临界值，为整个参数过程 $\theta_{uj}$ 在 $u \in \mathcal{U}$ 和 $j \in [\tilde{p}]$ 上推导统一置信带。

实验结果

研究问题

• RQ1 我们能否在 $ ilde{p} \gg n$ 的高维模型中为大量函数参数构建统一有效的联合置信带？
• RQ2 当参数数量超过样本量时，如何确保模型选择后推断的有效性？
• RQ3 在函数参数的后模型选择推断中，能否避免反复求解高维优化问题？
• RQ4 在Z-估计框架中，何种条件能确保重加权自展法对高维向量过程的渐近有效性？
• RQ5 如何将推断从未知参数扩展到分布回归模型中整个函数参数过程？

主要发现

• 所提方法在弱正则性和稀疏性条件下，即使 $ ilde{p} \gg n$，也能为 $ ilde{p}$ 个函数参数构建统一有效的联合置信带。
• 重加权自展程序计算高效，仅需对估计得分函数进行重采样，而无需重新求解优化问题。
• 该方法在一大类概率测度 $\mathcal{P}_n$ 上实现统一有效性，确保覆盖概率均匀接近名义水平。
• 理论保证通过熵积分界建立，表明参数空间的复杂度受 $ ilde{p}$、$n$ 和稀疏度水平 $k$ 的控制。
• 该方法适用于逻辑分布回归模型中对整个条件分布函数的推断，而不仅限于均值或分位数特征。
• 关键技术结果是基于度量熵和对称化论证，推导出 $ ilde{p} \gg n$ 条件下高维向量的统一中心极限定理。