[论文解读] Outrigger local polynomial regression

Elliot H. Young, Rajen D. Shah+1 more|arXiv (Cornell University)|Mar 11, 2026

Statistical Methods and Inference被引用 0

一句话总结

本论文提出了可自适应匹配未知条件误差分布的外撑本地多项式估计量，能够实现分布自适应性并在没有强结构假设的情况下接近极小极大最优。

ABSTRACT

Standard local polynomial estimators of a nonparametric regression function employ a weighted least squares loss function that is tailored to the setting of homoscedastic Gaussian errors. We introduce the outrigger local polynomial estimator, which is designed to achieve distributional adaptivity across different conditional error distributions. It modifies a standard local polynomial estimator by employing an estimate of the conditional score function of the errors and an 'outrigger' that draws on the data in a broader local window to stabilise the influence of the conditional score estimate. Subject to smoothness and moment conditions, and only requiring consistency of the conditional score estimate, we first establish that even under the least favourable settings for the outrigger estimator, the asymptotic ratio of the worst-case local risks of the two estimators is at most $1$, with equality if and only if the conditional error distribution is Gaussian. Moreover, we prove that the outrigger estimator is minimax optimal over Hölder classes up to a multiplicative factor $A_{β,d}$, depending only on the smoothness $β\in (0,\infty)$ of the regression function and the dimension~$d$ of the covariates. When $β\in (0,1]$, we find that $A_{β,d} \leq 1.69$, with $\lim_{β\searrow 0} A_{β,d} = 1$. A further attraction of our proposal is that we do not require structural assumptions such as independence of errors and covariates, or symmetry of the conditional error distribution. Numerical results on simulated and real data validate our theoretical findings; our methodology is implemented in R and available at https://github.com/elliot-young/outrigger.

研究动机与目标

• 在未知条件误差分布下动机化非参数回归及标准局部多项式的局限性。
• 开发一种结合条件分数估计与外撑机制以稳定分数的估计量。
• 建立理论保证：在广义条件下对比标准 LP 的渐近风险具有优势并在 Hölder 类下达到极小极大最优性。
• 在不要求误差与协变量独立性或对称性假设的前提下表征分布性自适应性。
• 提供实用指引和经验验证，包括在 R 中的实现。

提出的方法

• 用误差条件分数函数的估计来增强标准局部多项式估计量。
• 引入“外撑”核，使用更广的局部窗口以稳定条件分数估计。
• 定义总体与经验的外撑权重，确保零均值扰动并对初始估计去偏。
• 为外撑估计量构造估计方程并通过在局部多项式初步解的初始点处的 Fisher 评分法求解。
• 允许通过交叉拟合从数据中估计条件分数与稳定化项。
• 证明外撑估计量在最坏情形下与局部多项式风险相匹配或更优，并在 Hölder 类上获得极小极大型保证。

Figure 1 : Kernel density estimates of $\hat{f}(0)-f(0)$ for the simulation example of Section 4.3 (ii) for different estimators $\hat{f}$ , based on 1000 repetitions with sample size $n=10^{4}$ . A standard local constant estimator (black) does not adapt to the unknown (non-Gaussian) error distribu

实验结果

研究问题

• RQ1 局部多项式回归估计量是否能够在没有结构假设的前提下对未知条件误差分布进行自适应？
• RQ2 在带宽和点的不同情形下，外撑局部多项式估计量与标准局部多项式估计量的渐近风险关系如何？
• RQ3 外撑估计量是否在 Hölder 类上达到极小极大最优性，且自适应常数如何依赖于光滑度与维数？
• RQ4 在模拟与真实数据上，与标准方法和局部似然基线相比，所提出的方法在实际中的表现如何？
• RQ5 实现时在有限样本条件下需要考虑哪些实际因素（如分数估计、交叉拟合等）？

主要发现

Estimator	MSE (×10^3)
Standard local polynomial	3.04
Oracle (Local likelihood)	1.23
Outrigger	1.51
Score plug-in	3.47

• 外撑与标准局部多项式最坏情况的局部风险比最高为1，只有在高斯误差时才等于1。
• 外撑估计量在 Hölder 类上达到极小极大最优，常数因子 A_{β,d} 仅依赖于 β 与 d；若 β ∈ (0,1]，则 A_{β,d} ≤ 1.69，且 β → 0 时 A_{β,d} → 1。
• 在实际应用中，外撑实现显著的方差降低，同时偏差与标准估计量相当或更优，得到的结论由仿真和真实数据支持。
• 理论结果显示分布性自适应性无需假设误差与协变量独立或误差分布对称。
• 数值结果包含一张对比表，展示外撑相对于标准局部多项式和局部似然基线的表现；该方法在 R 中实现并可在线获取。

Figure 2 : Illustration of a local constant estimator ( $p=0$ ) in the single covariate ( $d=1$ ) case at $x_{0}=0.35$ with bandwidth $h=0.05$ and outrigger parameter $\lambda=5$ . The solid black curve is the true regression function. The green line shows the outrigger local constant fit at $x_{0}$