[论文解读] Regularized Quantile Regression with Interactive Fixed Effects

Junlong Feng|arXiv (Cornell University)|Nov 1, 2019

Statistical Methods and Inference参考文献 36被引用 6

一句话总结

本文提出了一种用于大样本 $N$ 和 $T$ 面板数据模型中带有交互固定效应的核范数惩罚估计量，用于正则化分位数回归。该方法通过凸优化联合估计系数和低秩固定效应，无需预先估计因子数量，即可在所有分位数水平上实现一致估计，理论误差界明确，并通过增广拉格朗日算法实现计算高效。

ABSTRACT

This paper studies large $N$ and large $T$ conditional quantile panel data models with interactive fixed effects. We propose a nuclear norm penalized estimator of the coefficients on the covariates and the low-rank matrix formed by the fixed effects. The estimator solves a convex minimization problem, not requiring pre-estimation of the (number of the) fixed effects. It also allows the number of covariates to grow slowly with $N$ and $T$. We derive an error bound on the estimator that holds uniformly in quantile level. The order of the bound implies uniform consistency of the estimator and is nearly optimal for the low-rank component. Given the error bound, we also propose a consistent estimator of the number of fixed effects at any quantile level. To derive the error bound, we develop new theoretical arguments under primitive assumptions and new results on random matrices that may be of independent interest. We demonstrate the performance of the estimator via Monte Carlo simulations.

研究动机与目标

• 通过在面板数据中建模条件分位数并引入交互固定效应，解决分布异质性问题。
• 开发一种计算高效的估计量，避免非凸优化，并无需预先估计固定效应的数量。
• 在固定效应矩阵具有低秩结构的条件下，建立估计量在所有分位数水平上的统一理论误差界。
• 提出一种在任意分位数水平下对交互固定效应数量的一致估计量。
• 通过蒙特卡洛模拟展示该方法的性能，并与非凸替代方法进行比较。

提出的方法

• 对低秩固定效应矩阵 $L$ 使用核范数惩罚，以在奇异值上诱导稀疏性，作为秩最小化的凸替代。
• 求解凸优化问题 $\min_{\beta, L} \frac{1}{NT}\sum_{i,t}\rho_u(Y_{it} - X_{it}'\beta - L_{it}) + \lambda\|L\|_*$，其中 $\rho_u$ 为检验函数，$\|L\|_*$ 为核范数。
• 采用增广拉格朗日乘子算法高效计算估计量，实现对大规模面板数据的可扩展性。
• 在基本假设下推导理论误差界，证明估计量在分位数水平上的统一一致性。
• 基于误差界和奇异值衰减，提出一种交互固定效应数量的一致估计量。
• 依赖新的随机矩阵理论结果和理论论证，支持在弱矩条件和弱依赖条件下误差界的成立。

实验结果

研究问题

• RQ1 是否能够通过凸正则化估计量，在具有分位数特异性异质性的大面板数据模型中，一致估计系数和低秩交互固定效应？
• RQ2 核范数惩罚是否能在不预先指定因子数量的情况下，有效恢复固定效应矩阵的低秩结构？
• RQ3 在有限样本中，与需要迭代优化且易陷入局部极小值的非凸替代方法相比，所提出的估计量表现如何？
• RQ4 是否能够基于所提出的框架，在任意分位数水平下一致估计交互固定效应的数量？
• RQ5 估计量在所有分位数水平上的统一误差界是什么？它们与最优速率的接近程度如何？

主要发现

• 所提出的核范数惩罚估计量在所有分位数水平上均实现了对系数和固定效应的统一一致性，其误差界对低秩分量而言几乎最优。
• 蒙特卡洛模拟表明，与非凸迭代替代方法相比，该估计量显著降低了计算时间，在大样本中计算速度最高可提升10倍。
• 该估计量能一致估计交互固定效应的数量，正确模型选择率随样本量增加而提高（例如，在 $N=T=500$ 且 $u=0.5$ 时达到95%）。
• 对于重尾误差（如自由度为2的 $t$ 分布），估计量保持低偏差和均方误差，$\text{MSE}_L$ 在 $u=0.8$ 时从 $N=T=200$ 时的44.7下降至 $N=T=500$ 时的43.4。
• 在弱依赖条件下，误差界呈 $O_p(\sqrt{\log(NT)/NT})$ 量级，表明低秩分量的收敛速率接近最优。
• 该方法对高维协变量具有鲁棒性，协变量数量可随 $N$ 和 $T$ 缓慢增长。