[论文解读] Optimal estimation of variance in nonparametric regression with random design

Yandi Shen, Chao Gao+2 more|arXiv (Cornell University)|Feb 27, 2019

Statistical Methods and Inference参考文献 47被引用 5

一句话总结

本文在随机设计非参数回归中建立了估计方差函数 $V(\cdot)$ 的极小极大率，表明在局部与全局平方风险下，该速率为 $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}} \vee n^{-\frac{2\beta}{2\beta+1}}$。作者提出一种基于 U-统计量的局部多项式估计器，并通过一种新颖的梯形形状均值函数及稀疏多项分布技术，构建了下界以处理设计随机性与光滑性之间的相互作用。

ABSTRACT

Consider the heteroscedastic nonparametric regression model with random design \begin{align*} Y_i = f(X_i) + V^{1/2}(X_i)\varepsilon_i, \quad i=1,2,\ldots,n, \end{align*} with $f(\cdot)$ and $V(\cdot)$ $α$- and $β$-Hölder smooth, respectively. We show that the minimax rate of estimating $V(\cdot)$ under both local and global squared risks is of the order \begin{align*} n^{-\frac{8αβ}{4αβ+ 2α+ β}} \vee n^{-\frac{2β}{2β+1}}, \end{align*} where $a\vee b := \max\{a,b\}$ for any two real numbers $a,b$. This result extends the fixed design rate $n^{-4α} \vee n^{-2β/(2β+1)}$ derived in Wang et al. [2008] in a non-trivial manner, as indicated by the appearances of both $α$ and $β$ in the first term. In the special case of constant variance, we show that the minimax rate is $n^{-8α/(4α+1)}\vee n^{-1}$ for variance estimation, which further implies the same rate for quadratic functional estimation and thus unifies the minimax rate under the nonparametric regression model with those under the density model and the white noise model. To achieve the minimax rate, we develop a U-statistic-based local polynomial estimator and a lower bound that is constructed over a specified distribution family of randomness designed for both $\varepsilon_i$ and $X_i$.

研究动机与目标

• 确定在随机设计下异方差非参数回归中方差函数 $V(\cdot)$ 的极小极大收敛速率。
• 将固定设计下的速率 $n^{-4\alpha} \vee n^{-2\beta/(2\beta+1)}$ 扩展至随机设计情形，其中设计点为独立同分布，且速率同时依赖于 $\alpha$ 与 $\beta$。
• 将方差估计的极小极大速率与常数方差情形下的密度模型和高斯白噪声模型的速率统一。
• 提出一种基于 U-统计量的局部多项式估计器，其在无需对设计密度施加光滑性假设的前提下达到最优速率。
• 通过梯形形状的均值函数构造与稀疏多项分布结果，构建新的下界，以有效处理设计点的随机性。

提出的方法

• 提出一种基于 U-统计量的局部多项式估计器，通过平滑响应值对之间的差异来估计方差函数 $V(\cdot)$。
• 使用 Gin\'e 等人（2000）提出的四重 Bernstein 不等式，分析估计器的风险，且无需假设设计密度的光滑性。
• 通过精心设计的局部化均值函数 $f(\cdot)$ 构建下界，以分离 $\alpha$ 与 $\beta$ 在速率中的作用。
• 引入一种梯形形状的均值函数构造方法，利用 Kolchin 等人（1978）关于稀疏多项分布的结果，对独立同分布设计点的渐近行为进行建模。
• 在 $f(\cdot)$ 的构造中应用局部化技术，以隔离极小极大速率中非平凡项里 $\alpha$ 与 $\beta$ 的影响。
• 通过为 $\varepsilon_i$ 与 $X_i$ 构造特定分布族，推导出能捕捉随机设计下方差估计内在难度的下界。

实验结果

研究问题

• RQ1 在非参数回归中，当 $f(\cdot)$ 与 $V(\cdot)$ 分别为 $\alpha$- 与 $\beta$-Holder 连续时，随机设计下方差函数 $V(\cdot)$ 的极小极大估计速率是什么？
• RQ2 随机设计情形下的极小极大速率与固定设计情形相比有何不同，特别是在 $\alpha$ 与 $\beta$ 依赖性方面？
• RQ3 随机设计模型中方差估计的极小极大速率能否与密度模型和白噪声模型中的速率统一？
• RQ4 设计点随机性在决定极小极大速率中起什么作用？如何在下界构造中有效建模这种随机性？
• RQ5 如何将 U-统计量与局部多项式平滑相结合，以在不假设设计密度光滑性的前提下实现最优方差估计？

主要发现

• 在随机设计设定下，基于局部与全局平方风险的 $V(\cdot)$ 估计的极小极大速率是 $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}} \vee n^{-\frac{2\beta}{2\beta+1}}$。
• 该速率包含一个非平凡项 $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}}$，其同时依赖于 $\alpha$ 与 $\beta$，而固定设计情形下第一项仅含 $\alpha$。
• 当 $\alpha < \beta/(4\beta + 2)$ 时，随机设计情形下的速率快于固定设计情形，表明设计随机性具有优势。
• 在常数方差情形（$V(\cdot) \equiv \sigma^2$）下，$\sigma^2$ 估计的极小极大速率是 $n^{-8\alpha/(4\alpha+1)} \vee n^{-1}$，与密度模型和白噪声模型中的已知速率一致。
• 基于 U-统计量的局部多项式估计器在不假设设计密度光滑性的前提下达到了最优速率。
• 下界构造依赖于一种新颖的梯形形状均值函数及稀疏多项分布的结果，以建模独立同分布设计点的渐近行为。