[论文解读] Nonparametric Inference via Bootstrapping the Debiased Estimator

Gang Cheng, Yen‐Chi Chen|arXiv (Cornell University)|Feb 22, 2017

Statistical Methods and Inference参考文献 93被引用 3

一句话总结

本文提出了一种基于自助法的新方法，用于在非参数密度和回归估计中构建同时置信带。该方法通过将自助法应用于去偏核密度估计器和去偏局部多项式回归估计器，实现了使用常规带宽选择器的渐近有效置信带，无需进行欠平滑或过平滑处理，同时在整个支撑集上保持一致的覆盖概率，并提高了对带宽选择的鲁棒性。

ABSTRACT

In this paper, we propose to construct confidence bands by bootstrapping the debiased kernel density estimator (for density estimation) and the debiased local polynomial regression estimator (for regression analysis). The idea of using a debiased estimator was recently employed by Calonico et al. (2018b) to construct a confidence interval of the density function (and regression function) at a given point by explicitly estimating stochastic variations. We extend their ideas of using the debiased estimator and further propose a bootstrap approach for constructing simultaneous confidence bands. This modified method has an advantage that we can easily choose the smoothing bandwidth from conventional bandwidth selectors and the confidence band will be asymptotically valid. We prove the validity of the bootstrap confidence band and generalize it to density level sets and inverse regression problems. Simulation studies confirm the validity of the proposed confidence bands/sets. We apply our approach to an Astronomy dataset to show its applicability

研究动机与目标

• 为解决非参数密度和回归估计中构建有效同时置信带这一长期存在的挑战。
• 克服非参数推断中偏差校正的困难，该困难难以通过重采样方法捕捉。
• 开发一种方法，使用常规带宽选择器（如经验法则、交叉验证）而无需进行欠平滑或过平滑处理。
• 将去偏估计器方法推广至多变量设置，并扩展至密度水平集和逆回归问题。
• 提供一种稳健且实用的置信带构建方法，保持一致覆盖性，且对带宽选择不敏感。

提出的方法

• 该方法采用 Calonico 等人（2018b）提出的去偏核密度估计器（KDE）和去偏局部多项式回归估计器，通过显式估计高阶导数来校正偏差。
• 在 L∞ 范数下对去偏估计器应用非参数自助法，以在整个支撑集上构建同时置信带。
• 该方法利用去偏估计器的偏差阶数高于随机波动的特性，使得标准带宽选择器可实现渐近有效的推断。
• 自助程序考虑了去偏估计器的抽样变异性，确保在整个定义域内所有点上覆盖概率保持一致。
• 通过在这些场景下的去偏估计器上应用相同的自助框架，将该方法扩展至密度水平集和逆回归问题。
• 带宽选择使用标准现成方法，如 KDE 的经验法则和回归的交叉验证，无需为偏差校正进行调优。

实验结果

研究问题

• RQ1 能否为非参数密度和回归函数构建一种基于自助法的置信带，使其在整个支撑集上保持一致覆盖？
• RQ2 使用去偏估计器是否能消除在置信带构建中对带宽选择进行欠平滑或过平滑的需求？
• RQ3 与传统方法（欠平滑、偏差校正）相比，所提出方法在覆盖准确性和置信带宽度方面表现如何？
• RQ4 该方法对不同的带宽选择策略（包括经验法则和交叉验证）是否具有鲁棒性？
• RQ5 该框架能否推广至密度水平集和逆回归问题，并生成有效的置信集？

主要发现

• 所提出的自助方法使用常规带宽选择器，实现了渐近有效的同时置信带，无需显式进行欠平滑或过平滑处理。
• 模拟结果表明，去偏自助方法在所有模型和样本量下均保持接近名义覆盖水平（如 95%），在对带宽选择的鲁棒性方面优于传统偏差校正和欠平滑方法。
• 使用交叉验证带宽时，去偏方法的实证覆盖率达到接近名义水平（如 n=2000 时为 0.98–0.99），而欠平滑和偏差校正方法常出现覆盖不足，尤其在复杂模型中。
• 与欠平滑相比，去偏方法产生的置信带更窄；与传统偏差校正相比，在使用经验法则带宽时更具鲁棒性。
• 在模型 5 中，使用经验法则带宽的去偏方法在 n=1000 时达到 96.7% 的覆盖水平，优于传统偏差校正（87.4%）和欠平滑（分别为 85.8% 和 97.4%）。
• 该方法成功应用于天文学数据集，展示了其在真实世界非参数推断中的实际适用性。