[论文解读] Nonparametric denoising Signals of Unknown Local Structure, II: Nonparametric Regression Estimation

Anatoli Iouditski, Arkadi Nemirovski|ArXiv.org|Mar 5, 2009

Image and Signal Denoising Methods参考文献 25被引用 4

一句话总结

本文提出了一种针对具有未知局部结构的信号的自适应非参数回归估计器，利用局部良好滤波信号（例如平滑、调制或谐波函数）。通过构建一个自适应于局部平滑度的数据驱动滤波器，该估计器在 ℓp-范数下实现了极小极大最优收敛速率，其性能与已知局部平滑度的Oracle估计器相当，适用于非均匀平滑度的信号。

ABSTRACT

We consider the problem of recovering of continuous multi-dimensional functions from the noisy observations over the regular grid. Our focus is at the adaptive estimation in the case when the function can be well recovered using a linear filter, which can depend on the unknown function itself. In the companion paper "Nonparametric Denoising of Signals with Unknown Local Structure, I: Oracle Inequalities" we have shown in the case when there exists an adapted time-invariant filter, which locally recovers "well" the unknown signal, there is a numerically efficient construction of an adaptive filter which recovers the signals "almost as well". In the current paper we study the application of the proposed estimation techniques in the non-parametric regression setting. Namely, we propose an adaptive estimation procedure for "locally well-filtered" signals (some typical examples being smooth signals, modulated smooth signals and harmonic functions) and show that the rate of recovery of such signals in the $\ell_p$-norm on the grid is essentially the same as that rate for regular signals with nonhomogeneous smoothness.

研究动机与目标

• 开发一种自适应估计方法，用于非参数回归，当底层信号具有未知局部结构但可通过时不变线性滤波器实现局部良好滤波时。
• 在不事先知道平滑度参数的情况下，为具有非均匀平滑度的信号实现 ℓp-范数下近乎最优的收敛速率。
• 将合作者论文（第一部分）中的自适应滤波框架扩展到具有在规则网格上观测噪声的非参数回归设置。
• 在对信号类别的假设尽可能弱的前提下，证明所提出的估计器可达到与已知局部平滑度时相同的收敛速率。
• 在典型信号类别（如平滑、调制平滑和谐波函数）上验证该方法，展示其鲁棒性与自适应性。

提出的方法

• 该方法通过结合局部多项式逼近与基于局部信号行为的数据驱动带宽选择，构建自适应估计器。
• 采用基于核的滤波方法，其中滤波系数根据局部信号特征自适应调整，以确保最优的局部恢复性能。
• 估计器通过凸优化过程定义，其目标是最小化带惩罚的的经验风险，以在观测保真度与平滑度约束之间取得平衡。
• 分析依赖于使用 dyadic 立方体对定义域进行划分的局部化技术，并通过局部方差与信号变差来估计局部平滑度。
• 关键组成部分是基于经验噪声水平估计的阈值机制，用于在局部邻域中区分信号与噪声。
• 理论界通过矩不等式和大偏差集中不等式推导，特别是针对噪声过程的尾部行为及其导致的估计误差。

实验结果

研究问题

• RQ1 能否构造一种自适应非参数回归估计器，使其对具有未知局部平滑度的信号实现 ℓp-范数下的极小极大最优收敛速率？
• RQ2 如何使估计过程能够适应局部良好滤波的信号（如平滑或调制函数），而无需事先知道平滑度参数？
• RQ3 此类自适应估计器在 ℓp-范数下的最优收敛速率是什么？是否与已知平滑度时可达到的Oracle速率一致？
• RQ4 该方法能否在信号在整个定义域内具有非均匀平滑度时仍保持近似最优性？
• RQ5 局部信号变差与噪声水平估计在实现自适应性能中起什么作用？

主要发现

• 所提出的自适应估计器在所有 p > d 的 ℓp-范数下实现了极小极大收敛速率，与事先已知局部平滑度时可达到的最优速率完全一致。
• 对于具有非均匀平滑度的 Hölder 或 Sobolev 类信号，该估计器达到与已知局部平滑度参数的Oracle估计器相同的收敛速率。
• 该方法对未知平滑度具有鲁棒性，并通过数据驱动的滤波选择自适应于局部信号结构，而无需基于全局平滑度进行调参。
• 理论界表明，估计误差以与 (σ_n)^{2β(p,k,d,q)} R^{1−2β(p,k,d,q)} 成比例的速率衰减，其中 β(p,k,d,q) 是依赖于平滑度的指数，实现了近似最优性。
• 该方法在包括平滑、调制平滑和谐波函数在内的广泛信号类型中均保持最优性能，经理论分析验证。
• 收敛速率在局部良好滤波信号类上是一致的，且在 n → ∞ 的渐近情形下，估计器被证明近乎极小极大最优。