[论文解读] Uniform in bandwidth consistency of local polynomial regression function estimators

Julia Dony, Uwe Einmahl+1 more|ArXiv.org|Jan 23, 2006

Statistical Methods and Inference参考文献 17被引用 33

一句话总结

本文通过将经验过程技术推广至更广泛的泛函类，建立了局部多项式回归估计量在带宽上的统一一致性。证明了估计误差在给定范围内的所有带宽上一致收敛，确保了对数据驱动带宽选择的鲁棒性，且收敛速率在核函数和设计密度满足轻微光滑性和矩条件时，与确定性带宽的速率一致。

ABSTRACT

We generalize a method for proving uniform in bandwidth consistency results for kernel type estimators developed by the two last named authors. Such results are shown to be useful in establishing consistency of local polynomial estimators of the regression function.

研究动机与目标

• 将核类型估计量在带宽上的一致性结果扩展到经典密度和回归估计量之外的更广泛泛函类。
• 建立局部多项式回归估计量在给定范围内所有带宽上的统一收敛性，确保对数据驱动带宽选择的鲁棒性。
• 为在底层密度和回归函数光滑性假设最小条件下的局部多项式估计量一致性提供理论基础。
• 通过引入处理非参数估计中依赖泛函类的更灵活框架，推广现有经验过程技术。

提出的方法

• 作者将先前工作中的一种方法推广，利用经验过程理论实现对带宽范围的统一收敛。
• 他们定义了一类涉及响应变量函数的核加权和的泛函，并引入一个可测的控制尾部行为的上界函数。
• 对泛函类施加覆盖数条件，以控制熵，并通过对称化和Rademacher复杂度实现矩界。
• 证明依赖于一个对称化不等式（不等式 A.1），将几乎必然收敛转化为Rademacher平均的矩界。
• 作者应用基于覆盖数的矩界（命题 A.1），以控制泛函类上经验过程的期望上确界。
• 他们使用一种卷积型逼近（引理 A.2），以处理带宽趋近于零时的统一连续性和偏差控制。

实验结果

研究问题

• RQ1 在设计密度和回归函数的光滑性假设最小的条件下，能否为局部多项式回归估计量建立带宽上的统一一致性？
• RQ2 为确保在给定区间内所有带宽上的统一收敛，对泛函类和核函数需要施加何种条件？
• RQ3 估计误差的收敛速率在所有带宽上如何统一表现，且能否与确定性带宽序列的速率保持一致？
• RQ4 带宽上统一一致性的泛函类是否可扩展至经典核密度估计和Nadaraya-Watson估计量之外？
• RQ5 覆盖数和熵条件在高维非参数估计中控制泛函类复杂性方面起何种作用？

主要发现

• 本文证明，对于一大类泛函，由带宽和位置参数化的经验过程在区间 $[c\log n / n, 1]$ 内的所有带宽上一致收敛，收敛速率阶为 $\sqrt{\log(1/h_n)/nh_n}$。
• 即使带宽是基于数据自适应选择的，该统一收敛速率仍与确定性带宽序列的最佳已知速率一致。
• 在适度条件下，收敛以概率一成立：上界函数有界、覆盖数为多项式增长，且泛函类满足矩条件。
• 该方法通过将局部多项式估计量的分析简化为对单一经验过程在结构化泛函类上的统一控制，实现对这类估计量的分析。
• 结果对带宽选择具有鲁棒性，确保数据驱动带宽选择不会降低收敛速率。
• 该框架推广了先前结果，允许处理比以往更广泛的泛函类，包括局部多项式回归中出现的泛函。