[论文解读] Robust Estimation and Wavelet Thresholding in Partial Linear Models

Irène Gannaz|arXiv (Cornell University)|Dec 4, 2006

Advanced Statistical Methods and Models参考文献 26被引用 9

一句话总结

该论文提出了一种鲁棒的小波阈值化方法，用于估计部分线性模型中的参数分量和非参数分量，通过将小波阈值化与Huber的M-估计联系起来，以处理异常值并实现自适应极小极大率。该方法通过半二次优化实现高效且鲁棒的估计，在有限样本中优于回访法，并在非参数分量的弱光滑性假设下提供了理论保证。

ABSTRACT

This paper is concerned with a semiparametric partially linear regression model with unknown regression coefficients, an unknown nonparametric function for the non-linear component, and unobservable Gaussian distributed random errors. We present a wavelet thresholding based estimation procedure to estimate the components of the partial linear model by establishing a connection between an $l_1$-penalty based wavelet estimator of the nonparametric component and Huber's M-estimation of a standard linear model with outliers. Some general results on the large sample properties of the estimates of both the parametric and the nonparametric part of the model are established. Simulations and a real example are used to illustrate the general results and to compare the proposed methodology with other methods available in the recent literature.

研究动机与目标

• 开发一种适用于部分线性模型的鲁棒估计程序，能够处理异常值，并对非参数分量的弱光滑性假设具有鲁棒性。
• 建立小波阈值化与线性模型中M-估计（特别是Huber估计器）之间的理论联系。
• 在一般条件下，推导出参数估计器和非参数估计器的大样本性质——一致性、渐近正态性以及极小极大率。
• 提出一种基于半二次优化的数值高效算法，避免使用迭代回访法。
• 通过模拟和真实数据实例验证该方法，与现有的回访法和基于小波的方法进行比较。

提出的方法

• 通过小波级数展开表示非参数分量，实现系数的稀疏表示。
• 对小波系数应用软阈值、硬阈值或SCAD阈值化，以在Besov空间中实现自适应估计。
• 将小波系数估计问题重新表述为鲁棒线性模型估计问题，通过损失函数 $\rho_1$ 与Huber的M-估计建立联系。
• 通过最小化一个连接到小波域残差M-估计的惩罚目标函数来估计参数分量 $\boldsymbol{\beta}_0$。
• 使用半二次优化算法进行数值实现，相较于标准回访法，提升了收敛性和鲁棒性。
• 利用Bahadur表示和浓度不等式发展渐近理论，推导偏差、方差和收敛速率。

实验结果

研究问题

• RQ1 能否系统地将小波阈值化与部分线性模型中的鲁棒M-估计联系起来，以增强对异常值的抵抗能力？
• RQ2 所提出的基于小波的估计器的大样本性质（一致性、渐近正态性、极小极大率）是什么？
• RQ3 在污染或弱光滑性条件下，该方法在有限样本中与回访法及其他小波估计器相比表现如何？
• RQ4 能否利用小波阈值化与M-估计之间的联系，设计出高效且数值稳定的算法？
• RQ5 该方法是否能在不依赖强光滑性假设的前提下，实现非参数估计的自适应极小极大率？

主要发现

• 即使 $f$ 属于Besov空间而非仅Sobolev空间，小波阈值化估计器对非参数分量仍能达到准极小极大渐近速率。
• 参数估计器 $\hat{\boldsymbol{\beta}}_n$ 是渐近正态的，并达到标准的 $\sqrt{n}$-速率，其偏差和方差可通过M-估计理论进行二阶近似。
• 小波系数估计器 $\hat{\boldsymbol{\alpha}}_n$ 满足 $\hat{\boldsymbol{\alpha}}_n = K_{0}^{\prime\prime -1} \left( \frac{1}{\sqrt{n}} \sum_{i=1}^n \rho_1'(d_i) \mathbf{R}_i \right) + o_\mathbb{P}(1)$，直接与Huber的M-估计建立联系。
• 非参数估计误差 $\| \hat{f}_n - f \|_2$ 满足 $\mathbb{E} \left[ \frac{1}{n} \| \tilde{\boldsymbol{\theta}}_n - \boldsymbol{\theta}_0 \| \right] \leq C \left( \frac{\log n}{n} \right)^{s/(1+2s)}$，与已知的极小极大率一致。
• 在模拟中，该方法的有限样本性能优于回访法，尤其在存在污染或低光滑性条件下表现更优。
• 该方法实现了 $\| \hat{\boldsymbol{\beta}}_n - \boldsymbol{\beta}_0 \| = \circ_\mathbb{P}(\lambda / \sqrt{n})$，其中 $\lambda$ 通过阈值化自适应选择，确保了鲁棒性与自适应性。