[论文解读] Pointwise adaptive estimation for robust and quantile regression

Markus Reiß, Yves Rozenholc+1 more|ArXiv.org|Apr 3, 2009

Advanced Statistical Methods and Models参考文献 13被引用 5

一句话总结

本文提出了一种数据驱动的、逐点自适应的估计方法，用于鲁棒回归与分位数回归，采用基于序列检验的模型选择方法进行局部M-估计。该方法在弱正则性条件下实现了速率最优性，并在模拟实验和真实世界CT图像去噪应用中表现出优异的小样本性能。

ABSTRACT

A nonparametric procedure for robust regression estimation and for quantile regression is proposed which is completely data-driven and adapts locally to the regularity of the regression function. This is achieved by considering in each point M-estimators over different local neighbourhoods and by a local model selection procedure based on sequential testing. Non-asymptotic risk bounds are obtained, which yield rate-optimality for large sample asymptotics under weak conditions. Simulations for different univariate median regression models show good finite sample properties, also in comparison to traditional methods. The approach is extended to image denoising and applied to CT scans in cancer research.

研究动机与目标

• 解决在重尾误差和未知局部光滑性条件下进行非参数回归的挑战，适用于鲁棒回归与分位数回归。
• 开发一种完全数据驱动的方法，能够局部自适应于回归函数的未知正则性，而无需全局光滑性假设。
• 通过引入基于序列检验的局部模型选择过程，克服全局调优参数选择（如交叉验证）的局限性。
• 在误差分布的最小矩条件下的非渐近风险界中实现速率最优性。
• 将该方法扩展至图像去噪应用，特别是在癌症研究中的医学影像（如CT扫描）中。

提出的方法

• 在每个设计点 $ x $ 的嵌套邻域 $ U_k $ 上构建局部M-估计器，使用凸损失函数 $ \rho $。
• 应用序列检验，比较来自逐渐扩大的邻域的估计器，以选择最优局部带宽。
• 采用Lepski型过程，通过检验嵌套估计器之间的显著差异来平衡偏差与方差。
• 通过依赖估计器差异而非其取值本身，确保完全数据驱动的选择，这对非线性M-估计器至关重要。
• 基于估计器差异的渐近分布推导出临界阈值，形成选择规则。
• 通过在二维网格上应用局部自适应中值滤波，将该方法扩展至图像去噪，实现去噪同时保留边缘。

实验结果

研究问题

• RQ1 数据驱动的局部模型选择过程能否在鲁棒与分位数回归中实现对局部光滑性的最优自适应？
• RQ2 在有限样本中，所提出的基于序列检验的选择规则与传统全局调优方法（如交叉验证）相比表现如何？
• RQ3 所选局部M-估计器的非渐近风险界是什么？在弱矩条件下是否能达到极小最大风险率？
• RQ4 该方法能否有效扩展至图像去噪，特别是在保留边缘的同时去除重尾噪声？
• RQ5 重叠窗口中位数估计器差异的渐近分布是什么？其如何指导选择阈值的确定？

主要发现

• 所提方法在弱矩条件（$ \varepsilon_i \in L^r $，$ r \geq 1 $）下，即使回归函数在空间上非齐次，也能实现非渐近风险界中的速率最优性。
• 模拟结果表明，在单变量中位数回归中，该方法表现出优异的小样本性能，其偏差与均方误差均优于传统方法。
• 重叠窗口中位数估计器差异的渐近方差为 $ \sigma_L^2 = \sigma_W^2 + \Delta + O(\Delta^2) $，其中 $ \sigma_W^2 $ 为等大小窗口下的方差。
• 在真实CT扫描图像去噪中，该方法成功保留了边缘特征，其表现优于标准滤波器，尤其在癌症研究中。
• 理论分析证实，中位数估计器的 $ r $-阶矩在样本大小上一致有界，支持该过程的稳定性。
• 序列检验规则确保所选带宽在最小化局部风险的意义上为最优，即使真实光滑性未知亦然。