[论文解读] Post-Regularization Confidence Bands for High Dimensional Nonparametric Models with Local Sparsity
本文提出了ATLAS，一种高维非参数模型，通过在关注的协变量周围允许局部稀疏模式，推广了稀疏加法模型。该文提出一种核-筛法估计器，结合局部核回归与B样条逼近，以估计边际影响函数 $ f_j^* $，在上确界范数下实现了最优收敛速率，并支持具有可控统计-计算权衡的有效置信带。
We propose a novel high dimensional nonparametric model named ATLAS which naturally generlizes the sparse additive model. Given a covariate of interest $X_j$, the ATLAS model assumes the mean function can be locally approximated by a sparse additive function whose sparsity pattern may vary from the global perspective. We propose to infer the marginal influence function $f_j^*(z) = \mathbb{E}[f(X_1,\ldots, X_d) \mid X_j = z]$ using a new kernel-sieve approach that combines the local kernel regression with the B-spline basis approximation. We prove the rate of convergence for estimating $f_j^*$ under the supremum norm. We also propose two types of confidence bands for $f_j^*$ and illustrate their statistical-comptuational tradeoffs. Thorough numerical results on both synthetic data and real-world genomic data are provided to demonstrate the efficacy of the theory.
研究动机与目标
- 为解决高维非参数模型中全局稀疏性假设的局限性，通过在关注协变量周围引入局部稀疏模式。
- 在真实均值函数呈现局部结构的高维设定下，开发一种估计边际影响函数 $ f_j^* $ 的方法。
- 在上确界范数下，建立所提估计器收敛速率的理论保证。
- 构建兼顾统计精度与计算效率的 $ f_j^* $ 置信带。
- 在合成数据和真实世界基因组数据集上对方法进行实证验证，展示其实际有效性。
提出的方法
- 提出ATLAS模型，假设均值函数在关注协变量附近可由具有协变量特异性稀疏模式的稀疏加法函数局部近似。
- 采用核-筛法，结合局部核回归与B样条基逼近，以估计边际影响函数 $ f_j^* $。
- 使用两阶段估计程序：第一阶段，在 $ X_j = z $ 附近进行局部核加权；第二阶段，通过B样条基展开建模条件均值函数。
- 在设计和误差分布满足正则性条件的假设下，推导估计器在上确界范数下的收敛速率。
- 构建两类置信带，其在覆盖精度与计算成本之间的权衡上有所不同。
- 应用事后正则化技术以增强估计稳定性，并在高维设定下提升推断可靠性。
实验结果
研究问题
- RQ1能否开发一种高维非参数模型，使稀疏模式在给定关注协变量周围呈现局部变化？
- RQ2在该类模型中，估计边际影响函数 $ f_j^* $ 于上确界范数下的最优收敛速率为何？
- RQ3如何在兼顾统计可靠性与计算可行性的情况下，构建 $ f_j^* $ 的有效置信带？
- RQ4在局部稀疏性下，不同置信带构建策略所固有的统计-计算权衡为何？
- RQ5该方法在有限样本下对合成数据和真实世界基因组数据的表现如何？
主要发现
- 所提出的核-筛法估计器在具有局部稀疏性的高维非参数模型中，于上确界范数下实现了 $ f_j^* $ 的最优收敛速率。
- 提出了两种不同的置信带构造方法，各自在覆盖精度与计算复杂度之间提供不同的权衡。
- 在合成数据上，该方法表现出强劲的实证性能，能正确识别局部稀疏模式并准确恢复真实的边际影响函数。
- 在真实世界基因组数据中，ATLAS模型成功识别出具有局部影响的生物相关协变量，优于基于全局稀疏性的替代方法。
- 理论分析表明，即使协变量数量随样本量增长，该估计器仍能保持良好的有限样本性能。
- 事后正则化技术显著提升了高维环境下估计的稳定性和推断的可靠性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。