[论文解读] Nonparametric Shape-restricted Regression

Adityanand Guntuboyina, Bodhisattva Sen|arXiv (Cornell University)|Sep 17, 2017

Statistical Methods and Inference参考文献 103被引用 11

一句话总结

本文对非参数形状约束回归中的最小二乘估计量（LSE）进行了全面的理论分析，涵盖保序回归、凸回归及可加模型。研究建立了自适应风险界，并推导出LSE的逐点极限分布，表明其通过包络过程收敛至Chernoff型分布，从而在形状约束下可构建有效的置信区间。

ABSTRACT

We consider the problem of nonparametric regression under shape constraints. The main examples include isotonic regression (with respect to any partial order), unimodal/convex regression, additive shape-restricted regression, and constrained single index model. We review some of the theoretical properties of the least squares estimator (LSE) in these problems, emphasizing on the adaptive nature of the LSE. In particular, we study the behavior of the risk of the LSE, and its pointwise limiting distribution theory, with special emphasis to isotonic regression. We survey various methods for constructing pointwise confidence intervals around these shape-restricted functions. We also briefly discuss the computation of the LSE and indicate some open research problems and future directions.

研究动机与目标

• 研究在单调性、凸性及其他顺序约束下，非参数形状约束回归中最小二乘估计量（LSE）的理论性质。
• 建立反映真实回归函数底层光滑度的LSE自适应风险界。
• 通过包络过程与布朗运动近似，推导LSE的逐点极限分布，尤其关注保序回归情形。
• 开发在形状约束下构建有效逐点置信区间的方祛。
• 识别计算与推断方面形状约束模型的开放问题与未来研究方向。

提出的方法

• 将回归问题表述为将观测响应向量投影到表示形状约束（如保序或凸函数）的闭凸锥上。
• 利用约束集的切锥与局部几何结构，分析LSE在真实函数附近的性质。
• 应用经验过程理论与匈牙利嵌入定理，研究局部化随机过程的弱收敛性。
• 引入“包络过程”概念，以表征LSE的极限分布，尤其通过感兴趣点处的二阶与三阶导数。
• 依赖一种通过缩放固定点邻域（使用 $ n^{-1/5} $）的局部化技术，使收敛过程涉及布朗运动。
• 通过高斯过程的包络推导LSE的极限分布，得到非高斯、非独立同分布的极限，即保序情形下的Chernoff分布。

实验结果

研究问题

• RQ1 在形状约束下，LSE的风险如何适应真实回归函数的光滑度？
• RQ2 保序与凸回归中LSE的逐点极限分布为何？其与经典渐近正态性有何不同？
• RQ3 能否利用LSE的极限分布为形状约束函数估计构建有效的逐点置信区间？
• RQ4 约束集的局部几何结构（如切锥）如何影响LSE的渐近行为？
• RQ5 在计算LSE及将推断扩展至高维或复杂形状约束模型方面，主要挑战与开放问题是什么？

主要发现

• 当真实函数为分段常数或分段线性时，LSE实现依赖于函数局部光滑度的自适应风险界，优于标准非参数速率。
• 保序回归中LSE的逐点极限分布弱收敛于包络过程的二阶导数，其为非高斯极限，即Chernoff分布。
• 极限过程被表征为带漂移的布朗运动的包络，其中包络确保了极限下形状约束的保持。
• 极限过程在零点的二阶导数 $ \tilde{\bbH}_{n}^{loc}''(0) $ 对应该LSE的极限分布，且依分布收敛于 $ \bbH''(0) $，即包络的二阶导数。
• 通过紧区间上连续函数空间中的弱收敛性，建立了局部化过程 $ \tilde{\bbH}_{n}^{loc} $ 到包络 $ \bbH $ 的收敛性。
• 该方法通过反演LSE的极限分布，可构建形状约束函数的有效逐点置信区间。