[论文解读] Sharp MSE Bounds for Proximal Denoising

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|May 13, 2013

Sparse and Compressive Sensing Techniques参考文献 71被引用 19

一句话总结

本文为使用凸优化正则化的近端去噪问题提供了精确的归一化均方误差（NMSE）上界，表明最坏情况下的NMSE由标准正态向量到真实信号处正则化器次微分的缩放版本之间的距离决定。核心结果揭示了去噪性能与正则化器次微分凸几何之间的几何联系，对广义LASSO和高维估计中的相变现象具有重要意义。

ABSTRACT

Denoising has to do with estimating a signal $x_0$ from its noisy observations $y=x_0+z$. In this paper, we focus on the "structured denoising problem", where the signal $x_0$ possesses a certain structure and $z$ has independent normally distributed entries with mean zero and variance $σ^2$. We employ a structure-inducing convex function $f(\cdot)$ and solve $\min_x\{\frac{1}{2}\|y-x\|_2^2+σλf(x)\}$ to estimate $x_0$, for some $λ>0$. Common choices for $f(\cdot)$ include the $\ell_1$ norm for sparse vectors, the $\ell_1-\ell_2$ norm for block-sparse signals and the nuclear norm for low-rank matrices. The metric we use to evaluate the performance of an estimate $x^*$ is the normalized mean-squared-error $ ext{NMSE}(σ)=\frac{\mathbb{E}\|x^*-x_0\|_2^2}{σ^2}$. We show that NMSE is maximized as $σ ightarrow 0$ and we find the \emph{exact} worst case NMSE, which has a simple geometric interpretation: the mean-squared-distance of a standard normal vector to the $λ$-scaled subdifferential $λ\partial f(x_0)$. When $λ$ is optimally tuned to minimize the worst-case NMSE, our results can be related to the constrained denoising problem $\min_{f(x)\leq f(x_0)}\{\|y-x\|_2\}$. The paper also connects these results to the generalized LASSO problem, in which, one solves $\min_{f(x)\leq f(x_0)}\{\|y-Ax\|_2\}$ to estimate $x_0$ from noisy linear observations $y=Ax_0+z$. We show that certain properties of the LASSO problem are closely related to the denoising problem. In particular, we characterize the normalized LASSO cost and show that it exhibits a "phase transition" as a function of number of observations. Our results are significant in two ways. First, we find a simple formula for the performance of a general convex estimator. Secondly, we establish a connection between the denoising and linear inverse problems.

研究动机与目标

• 推导在存在高斯噪声条件下，凸去噪估计器的精确、紧致的归一化均方误差（NMSE）上界。
• 表征当噪声方差 σ² 趋近于零时的最坏情况NMSE，将其与正则化器次微分的几何性质联系起来。
• 建立近端去噪性能与广义LASSO及压缩感知中观察到的相变行为之间的联系。
• 通过揭示去噪与线性逆问题均受同一几何量——次微分锥的维数——支配，统一两者的洞察。
• 提供一个适用于ℓ₁-最小化以外的任意凸结构诱导正则化器（如核范数或组LASSO）的通用框架。

提出的方法

• 将近端去噪问题形式化为最小化平方数据保真项与凸正则化项之和：minₓ {½‖y−x‖²₂ + σλf(x)}，其中 y = x₀ + z。
• 引入归一化MSE（NMSE）作为主要度量：E[‖x*−x₀‖²₂]/σ²，并推导其在 σ→0 时的最坏情况值。
• 表明最坏情况下的NMSE等于标准正态向量到 λ 缩放次微分 λ∂f(x₀) 的期望平方距离。
• 建立最坏情况下的NMSE等价于次微分锥的维数 D(cone(∂f(x₀)))，前提是 λ 被最优调节。
• 利用凸几何与高维概率工具推导精确表达式，结合Moreau的结果与近期相变理论。
• 通过表明同一几何量同时控制线性逆问题中噪声鲁棒性与代价函数行为，将去噪结果与广义LASSO问题联系起来。

实验结果

研究问题

• RQ1 在独立同分布高斯噪声下，使用凸正则化器 f(·) 的近端去噪问题，其精确的最坏情况归一化均方误差（NMSE）是多少？
• RQ2 近端去噪估计器的性能如何依赖于真实信号 x₀ 处次微分 ∂f(x₀) 的几何结构？
• RQ3 是否可以使用与控制去噪性能相同的几何量来预测广义LASSO问题的性能？
• RQ4 广义LASSO代价函数的相变行为如何随测量数 m 变化？
• RQ5 最坏情况下的NMSE是否在高斯噪声之外的分布假设下保持不变，还是依赖于噪声的尾部行为？

主要发现

• 当 σ→0 时，最坏情况下的NMSE精确等于标准正态向量到 λ 缩放次微分 λ∂f(x₀) 的期望平方距离，该量为依赖于 f 和 x₀ 的几何量。
• 当 λ 被最优调节时，最坏情况下的NMSE等于次微分锥的维数 D(cone(∂f(x₀)))，该量捕捉了信号结构的内在复杂度。
• 广义LASSO代价函数表现出尖锐的相变：当 m < D(cone(∂f(x₀))) 时，代价为零（无噪声鲁棒性）；当 m > D(cone(∂f(x₀))) 时，代价约为 m − D(cone(∂f(x₀)))。
• 相同的几何量 D(cone(∂f(x₀))) 同时控制去噪性能与线性逆问题中的恢复相变，建立了两者之间的深刻联系。
• 结果具有普遍性，适用于任意凸正则化器 f(·)，包括 ℓ₁、核范数和组LASSO，而不仅限于 ℓ₁-最小化。
• 对于非高斯噪声，NMSE界可能不完全成立，但在噪声经过随机酉变换后，若满足温和的次高斯性假设，最坏情况下的NMSE将收敛至 D(cone(∂f(x₀)))。