[论文解读] Partial Consistency with Sparse Incidental Parameters

Jianqing Fan, Runlong Tang+1 more|arXiv (Cornell University)|Oct 25, 2012

Statistical Methods and Inference参考文献 29被引用 7

一句话总结

该论文提出了一种针对高维线性模型中稀疏随 incidental 参数的惩罚估计方法，尽管 incidental 参数存在不一致，但结构参数仍能达到类似 oracle 的一致性。该研究建立了部分一致性：结构参数可一致估计，且具有渐近正态性和 oracle 性质，而 incidental 参数仅实现选择一致性，而非估计一致性。

ABSTRACT

Penalized estimation principle is fundamental to high-dimensional problems. In the literature, it has been extensively and successfully applied to various models with only structural parameters. As a contrast, in this paper, we apply this penalization principle to a linear regression model with a finite-dimensional vector of structural parameters and a high-dimensional vector of sparse incidental parameters. For the estimators of the structural parameters, we derive their consistency and asymptotic normality, which reveals an oracle property. However, the penalized estimators for the incidental parameters possess only partial selection consistency but not consistency. This is an interesting partial consistency phenomenon: the structural parameters are consistently estimated while the incidental ones cannot. For the structural parameters, also considered is an alternative two-step penalized estimator, which has fewer possible asymptotic distributions and thus is more suitable for statistical inferences. We further extend the methods and results to the case where the dimension of the structural parameter vector diverges with but slower than the sample size. A data-driven approach for selecting a penalty regularization parameter is provided. The finite-sample performance of the penalized estimators for the structural parameters is evaluated by simulations and a real data set is analyzed.

研究动机与目标

• 解决在 incidental 参数稀疏但数量众多的高维线性模型中估计结构参数的挑战。
• 开发一种惩罚估计框架，利用 incidental 参数中的稀疏性以改进对结构参数的推断。
• 在高维 incidental 参数设置下，建立结构参数估计量的一致性和渐近正态性的理论性质。
• 提出一种两步惩罚估计量，以降低渐近分布的复杂性，实现有效的统计推断。
• 将方法扩展至结构参数维度 d 随样本量 n 增长的情况，且在较慢发散速率条件下仍适用。

提出的方法

• 对包含结构参数 β⋆ 和稀疏 incidental 参数 μ⋆ 的线性模型应用惩罚似然估计，利用惩罚函数以利用稀疏性。
• 推导惩罚似然函数，并通过优化估计 β⋆ 和 μ⋆，其中惩罚项促进 μ⋆ 的稀疏性。
• 即使在 n → ∞ 且 d → ∞ 以受控速率增长时，仍建立结构参数估计量 β̂ 的渐近正态性和 oracle 性质。
• 提出两步估计程序：首先通过惩罚估计 μ⋆，然后基于所选支持重新估计 β⋆，从而降低渐近方差的复杂性。
• 采用数据驱动方法通过交叉验证或信息准则选择正则化参数。
• 运用高维渐近理论，包括浓度不等式和矩阵范数界，推导在稀疏性和设计矩阵矩假设下的收敛速率。

实验结果

研究问题

• RQ1 当 incidental 参数为高维且稀疏时，惩罚估计能否实现结构参数的一致且渐近正态的估计？
• RQ2 在存在发散数量的稀疏 incidental 参数时，结构参数惩罚估计量的渐近性质是什么？
• RQ3 incidental 参数的惩罚估计量是否实现完全一致性，还是仅实现选择一致性？
• RQ4 与一步惩罚估计量相比，两步估计量在渐近分布行为方面如何改善推断？
• RQ5 当结构参数维度 d 随样本量 n 增长时，该方法是否可在适当速率条件下扩展适用？

主要发现

• 结构参数 β⋆ 的惩罚估计量实现了渐近正态性和 oracle 性质，即其表现如同已知 μ⋆ 的真实稀疏支持。
• incidental 参数估计量 μ̂⋆ 仅实现选择一致性（即正确识别非零项），但不实现估计一致性（即值不收敛）。
• β⋆ 的两步惩罚估计量具有更少的可能渐近分布，因此更适用于构造置信区间和假设检验。
• 在 d = o(n^{1/3}) 条件下，估计量 β̂ 一致且渐近正态，估计误差的收敛速率为 √n。
• 当 d 随 n 增长时，只要满足 d^9(log d)^2 = o(n)，该方法仍有效，且估计量保持其 oracle 性质。
• 有限样本模拟和真实数据分析表明，在存在污染或稀疏异常值时，β⋆ 的惩罚估计量优于普通最小二乘法。