[论文解读] Oracle Inequalities for High-Dimensional Panel Data Models

Anders Kock|arXiv (Cornell University)|Oct 30, 2013

Spatial and Panel Data Analysis参考文献 21被引用 11

一句话总结

本文提出了一种用于高维固定效应面板数据模型的面板Lasso估计量，其中回归变量的数量超过样本量。在稀疏性假设下，建立了估计误差的精确Oracle不等式，证明了Lasso和自适应Lasso的一致性及渐近符号一致性，并表明在弱依赖性、异方差性和非高斯误差下，这些方法依然有效。

ABSTRACT

This paper is concerned with high-dimensional panel data models where the number of regressors can be much larger than the sample size. Under the assumption that the true parameter vector is sparse we propose a panel-Lasso estimator and establish finite sample upper bounds on its estimation error under two different sets of conditions on the covariates as well as the error terms. In particular, we allow for heteroscedastic and non-gaussian error terms which are weakly dependent over time. Upper bounds on the estimation error of the unobserved heterogeneity are also provided under the assumption of sparsity. Next, we show that our upper bounds are essentially optimal in the sense that they can only be improved by multiplicative constants. These results are then used to show that the Lasso can be consistent in even very large models where the number of regressors increases at an exponential rate in the sample size. Conditions under which the Lasso does not discard any relevant variables asymptotically are also provided. In the second part of the paper we give lower bounds on the probability with which the adaptive Lasso selects the correct sparsity pattern in finite samples. These results are then used to give conditions under which the adaptive Lasso can detect the correct sparsity pattern asymptotically. We illustrate our finite sample results by simulations and apply the methods to search for covariates explaining growth in the G8 countries.

研究动机与目标

• 开发一种在高维固定效应面板数据模型中计算上可行且理论上有保障的估计量，其中回归变量数量超过观测数量。
• 在稀疏性假设下，为系数向量和未观测异质性提供估计误差的有限样本上界。
• 证明当回归变量数量随样本量指数增长时，Lasso和自适应Lasso仍能实现一致性和正确变量选择。
• 推导出自适应Lasso在有限样本中正确选择稀疏模式的概率的非渐近上界。
• 证明所提出的界本质上是最优的，仅相差乘法常数。

提出的方法

• 提出一种面板Lasso估计量，可在高维固定效应面板模型中同时实现变量选择和参数估计。
• 在两组不同的矩条件和误差条件下，推导出系数向量 $\hat{\beta}$ 和未观测异质性 $\hat{c}$ 的估计误差的有限样本Oracle不等式。
• 依赖于高概率事件 $\mathcal{A}_{N,T}$、$\mathcal{B}_{N,T}$ 和 $\mathcal{C}_{1,N,T}$，以在弱依赖性和异方差性下控制估计量的行为。
• 使用自适应Lasso通过在L1惩罚中应用数据相关的权重，以改进变量选择的一致性。
• 建立条件，使得估计系数的符号以高概率与真实参数的符号一致。
• 结合使用浓度不等式和设计矩阵与误差项的矩条件，推导出非渐近上界。

实验结果

研究问题

• RQ1 当回归变量数量随样本量指数增长时，Lasso估计量能否在高维面板数据模型中实现一致估计？
• RQ2 在何种条件下，Lasso估计量能保持一致性并避免在高维设置中剔除相关变量？
• RQ3 面板Lasso在有限样本中对系数和未观测异质性的估计误差的上界是什么？
• RQ4 在何种条件下，自适应Lasso能在有限样本中以高概率实现正确的稀疏模式选择？
• RQ5 误差项中的弱依赖性和异方差性如何影响面板模型中Lasso和自适应Lasso的性能？

主要发现

• 在误差项存在弱依赖性和异方差性的情况下，面板Lasso估计量的估计误差界仍为最优，仅相差乘法常数。
• 当真实参数向量稀疏且设计矩阵满足适当的矩条件时，Lasso估计量对系数向量 $\beta^*$ 和未观测异质性 $c^*$ 是一致的。
• 在满足 $3b + c < 1 + a$、$5b + 3c < 1 + a$ 和 $2b + 3c < 1 + a$ 等条件下，自适应Lasso在有限样本中以高概率实现正确的稀疏模式选择。
• 当 $9b + 2c \leq 1$ 时，自适应Lasso的渐近符号一致性得以建立，确保估计系数的符号以概率趋于1与真实参数符号一致。
• 在给定的正则性条件下，即使回归变量数量随样本量指数增长，自适应Lasso的正确变量选择概率也趋于1。
• 本文表明，只要真实参数向量稀疏且设计矩阵满足限制特征值型条件，Lasso在 $p_{N,T}$ 沿 $NT$ 指数增长的模型中仍可保持一致性。