[论文解读] Uniform Inference for High-dimensional Quantile Regression: Linear Functionals and Regression Rank Scores

Jelena Bradić, Mladen Kolar|arXiv (Cornell University)|Feb 20, 2017

Statistical Methods and Inference参考文献 34被引用 16

一句话总结

该论文提出了一种高维分位数回归的去偏框架，可在一系列分位数上实现统一推断。通过引入高维回归秩统计量和统一的Bahadur表示，即使在 p ≫ n 的情况下，且在最小稀疏性假设下，该方法仍能实现渐近有效的置信带和柯尔莫哥洛夫-斯米尔诺夫检验，收敛速度达到参数级。

ABSTRACT

Hypothesis tests in models whose dimension far exceeds the sample size can be formulated much like the classical studentized tests only after the initial bias of estimation is removed successfully. The theory of debiased estimators can be developed in the context of quantile regression models for a fixed quantile value. However, it is frequently desirable to formulate tests based on the quantile regression process, as this leads to more robust tests and more stable confidence sets. Additionally, inference in quantile regression requires estimation of the so called sparsity function, which depends on the unknown density of the error. In this paper we consider a debiasing approach for the uniform testing problem. We develop high-dimensional regression rank scores and show how to use them to estimate the sparsity function, as well as how to adapt them for inference involving the quantile regression process. Furthermore, we develop a Kolmogorov-Smirnov test in a location-shift high-dimensional models and confidence sets that are uniformly valid for many quantile values. The main technical result are the development of a Bahadur representation of the debiasing estimator that is uniform over a range of quantiles and uniform convergence of the quantile process to the Brownian bridge process, which are of independent interest. Simulation studies illustrate finite sample properties of our procedure.

研究动机与目标

• 解决在 p ≫ n 条件下构建高维分位数回归中统一有效置信区间的挑战。
• 克服惩罚分位数回归估计量中的偏倚，从而实现对被选中与未被选中变量的可靠推断。
• 开发一种对异方差性和重尾误差分布具有鲁棒性的方法，避免依赖稀疏性函数的估计。
• 实现对连续分位数范围的推断，而不仅限于单个 τ，以提高稳定性和鲁棒性。
• 建立分位数过程对布朗桥过程的统一收敛，这是具有广泛影响的关键技术贡献。

提出的方法

• 提出一种基于回归秩统计量导出的校正项的去偏程序，用于高维分位数回归估计量。
• 引入高维回归秩统计量，作为稀疏性函数 1/f(F⁻¹(τ)) 的一致估计量，无需密度估计。
• 建立去偏估计量在 τ ∈ T 的分位数范围内的统一Bahadur表示。
• 基于分位数过程的统一收敛至布朗桥，构建柯尔莫哥洛夫-斯米尔诺夫检验统计量。
• 利用去偏估计量构建整个分位数回归线的置信带，确保在 τ 上的统一覆盖。
• 将去偏技术应用于回归系数的线性泛函，实现对多个参数的联合推断。

实验结果

研究问题

• RQ1 我们能否在 p ≫ n 的情况下，对 τ ∈ T 的一系列分位数，构建高维分位数回归系数的统一有效置信集？
• RQ2 如何消除惩罚分位数回归估计量中的渐近偏倚，以实现对被选中和未被选中变量的可靠推断？
• RQ3 在 τ 上保持统一性时，去偏估计量的收敛速度是多少？是否能达到参数级的 √n 速率？
• RQ4 能否为高维位置位移模型开发一种对未知误差密度具有鲁棒性的柯尔莫哥洛夫-斯米尔诺夫检验？
• RQ5 线性假设中载荷向量的性质如何影响检验统计量的收敛速度？

主要发现

• 所提出的去偏估计量在一系列分位数 τ 上实现了统一的Bahadur表示，从而支持统一推断。
• 该方法即使在 p ≫ n 的高维设定下，仍能实现参数级 √n 的收敛速率，适用于推断。
• 回归秩统计量为稀疏性函数 1/f(F⁻¹(τ)) 提供了一致估计，且无需密度估计。
• 分位数过程统一收敛至布朗桥过程，这是具有独立兴趣的关键技术结果。
• 模拟研究显示，置信区间实现了接近名义水平的覆盖（例如，在等相关性下 τ=0.3 时为 95.4%），且区间宽度接近最优。
• 柯尔莫哥洛夫-斯米尔诺夫检验在不同误差分布（正态分布、t1 分布）下均保持良好功效，功效曲线在 τ ∈ [0.3, 0.6] 范围内稳定。