[论文解读] Quantile Processes for Semi and Nonparametric Regression

Shih-Kang Chao, Stanislav Volgushev+1 more|arXiv (Cornell University)|Apr 7, 2016

Statistical Methods and Inference参考文献 31被引用 3

一句话总结

本文在通用的系列近似框架下建立了分位数回归过程（QRP）的弱收敛性，涵盖高维线性模型、非参数模型以及部分线性模型。主要贡献包括在部分线性模型中参数分量与非参数分量的渐近独立性，以及余项具有指数尾部界界的精确Bahadur表示，从而支持在分治计算设置下的推断。

ABSTRACT

A collection of quantile curves provides a complete picture of conditional distributions. Properly centered and scaled versions of estimated curves at various quantile levels give rise to the so-called quantile regression process (QRP). In this paper, we establish weak convergence of QRP in a general series approximation framework, which includes linear models with increasing dimension, nonparametric models and partial linear models. An interesting consequence is obtained in the last class of models, where parametric and non-parametric estimators are shown to be asymptotically independent. Applications of our general process convergence results include the construction of non-crossing quantile curves and the estimation of conditional distribution functions. As a result of independent interest, we obtain a series of Bahadur representations with exponential bounds for tail probabilities of all remainder terms. Bounds of this kind are potentially useful in analyzing statistical inference procedures under divide-and-conquer setup.

研究动机与目标

• 在半参数与非参数模型的通用系列估计框架下，建立分位数回归过程（QRP）的弱收敛性。
• 解决在维度增长或收敛速率不同的模型（如部分线性模型）中弱收敛的挑战。
• 为基于系列的分位数回归估计量推导具有指数尾部界边界的精确Bahadur表示，从而支持在分治方案下的稳健推断。
• 展示部分线性模型中参数分量与非参数分量之间的渐近独立性。
• 实现非交叉分位数曲线估计与条件分布函数估计等应用，借助弱收敛结果。

提出的方法

• 开发了一套通用的条件分位数系列估计框架，采用基展开形式，其中 Z(x)⊤γn(τ) 逼近 τ 分位数 Q(x; τ)。
• 应用函数δ方法与紧致可微性，基于设计、误差与基函数的正则性条件，推导QRP的弱收敛性。
• 通过证明参数与非参数估计量的联合弱收敛性并展示其渐近独立性，建立部分线性模型中QRP的弱收敛性。
• 推导系列估计量的基本Bahadur表示，余项以概率有界，并利用指数尾部不等式控制其尾部行为。
• 运用覆盖数方法与经验过程理论控制熵，并证明分位数过程的渐近紧致性。
• 将函数δ方法应用于从分位数过程到分布函数与分位数的映射，从而实现推导统计量的弱收敛性。

实验结果

研究问题

• RQ1 在何种条件下，分位数回归过程（QRP）在通用系列近似框架下弱收敛？
• RQ2 在部分线性模型中，参数分量与非参数分量的渐近行为如何，特别是其联合收敛性与独立性？
• RQ3 能否为基于系列的分位数回归估计量推导出具有指数尾部界边界的精确Bahadur表示？
• RQ4 弱收敛结果对构建非交叉分位数曲线及估计条件分布函数有何影响？
• RQ5 Bahadur表示中的余项行为如何？其尾部性质为何？

主要发现

• 在通用系列框架下，QRP弱收敛于高斯过程，涵盖维度增长与非参数分量的模型。
• 在部分线性模型中，参数与非参数估计量渐近独立，该结果源于具有不同收敛速率的联合弱收敛性。
• 本文建立了基本的Bahadur表示，余项满足指数尾部界，具体为 P(|Rn| > x) ≤ C exp(−c x²)，其中 c, C > 0 为常数。
• 系列估计量的偏差满足 ecn = O(m−⌊η⌋/k′)（部分线性模型）与 ecn = o(m−⌊η⌋)（一维样条模型），具体取决于光滑度 η 与维度 k′。
• 可通过QRP的弱收敛性构造非交叉分位数曲线，确保各分位数水平间的随机序性。
• 通过将函数δ方法应用于QRP，可一致估计条件分布函数，且所得过程弱收敛。