[论文解读] The Optimal Hard Threshold for Singular Values is 4/sqrt(3)

Matan Gavish, David L. Donoho|arXiv (Cornell University)|May 24, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用 31

一句话总结

本文推导了在白噪声下低秩矩阵去噪中奇异值的最优硬阈值，表明对于方阵，渐近最优阈值为 $4/√{3} \approx 2.309$ 倍的噪声水平 $\sigma$。该方法最小化渐近均方误差（AMSE），优于截断SVD（TSVD）和其他收缩规则，并能最优地适应未知的秩和未知的噪声水平。

ABSTRACT

We consider recovery of low-rank matrices from noisy data by hard thresholding of singular values, where singular values below a prescribed threshold $λ$ are set to 0. We study the asymptotic MSE in a framework where the matrix size is large compared to the rank of the matrix to be recovered, and the signal-to-noise ratio of the low-rank piece stays constant. The AMSE-optimal choice of hard threshold, in the case of n-by-n matrix in noise level σ, is simply $(4/\sqrt{3}) \sqrt{n}σ\approx 2.309 \sqrt{n}σ$ when $σ$ is known, or simply $2.858\cdot y_{med}$ when $σ$ is unknown, where $y_{med}$ is the median empirical singular value. For nonsquare $m$ by $n$ matrices with $m eq n$, these thresholding coefficients are replaced with different provided constants. In our asymptotic framework, this thresholding rule adapts to unknown rank and to unknown noise level in an optimal manner: it is always better than hard thresholding at any other value, no matter what the matrix is that we are trying to recover, and is always better than ideal Truncated SVD (TSVD), which truncates at the true rank of the low-rank matrix we are trying to recover. Hard thresholding at the recommended value to recover an n-by-n matrix of rank r guarantees an AMSE at most $3nrσ^2$. In comparison, the guarantee provided by TSVD is $5nrσ^2$, the guarantee provided by optimally tuned singular value soft thresholding is $6nrσ^2$, and the best guarantee achievable by any shrinkage of the data singular values is $2nrσ^2$. Empirical evidence shows that these AMSE properties of the $4/\sqrt{3}$ thresholding rule remain valid even for relatively small n, and that performance improvement over TSVD and other shrinkage rules is substantial, turning it into the practical hard threshold of choice.

研究动机与目标

• 确定在独立同分布白噪声下低秩矩阵去噪中奇异值的最优硬阈值。
• 建立一种能最优适应未知矩阵秩和未知噪声水平的阈值。
• 推导奇异值硬阈值（SVHT）的渐近均方误差（AMSE），并确定使其最小化的阈值。
• 证明在最优阈值下，SVHT 在 AMSE 保证方面优于截断SVD（TSVD）、软阈值法以及其他任何收缩规则。
• 提供适用于已知和未知噪声水平的实际阈值规则，并在多种噪声分布下进行验证。

提出的方法

• 在 $m,n \to \infty$ 且 $m/n \to \beta$ 的大矩阵极限下，推导奇异值硬阈值（SVHT）的渐近均方误差（AMSE）。
• 利用随机矩阵理论，表征经验奇异值分布的主体边缘为 $(1 + \sqrt{\beta})\sqrt{n}\sigma$。
• 确定最小化 AMSE 的最优硬阈值 $\lambda_*$，并证明对于 $n \times n$ 矩阵，其为 $\frac{4}{\sqrt{3}}\sqrt{n}\sigma$。
• 基于经验奇异值的中位数，推导实用的阈值规则：当 $\sigma$ 未知时，使用 $2.858 \cdot y_{\text{med}}$。
• 分析 SVHT 相对于 TSVD 和软阈值法的性能，证明其可实现更紧的 AMSE 上界 $3nr\sigma^2$。
• 通过蒙特卡洛模拟在高斯分布、伯努利分布、均匀分布和 t 分布噪声下验证结果，将 AMSE 与经验均方误差进行比较。

实验结果

研究问题

• RQ1 在白噪声下，低秩矩阵去噪中奇异值的最优硬阈值是什么，可使渐近均方误差（AMSE）最小化？
• RQ2 在最优阈值下，奇异值硬阈值法（SVHT）与截断SVD（TSVD）、软阈值法及其他收缩规则相比，性能如何？
• RQ3 能否推导出一种能适应未知矩阵秩和未知噪声水平的硬阈值，同时保持最优的 AMSE 性能？
• RQ4 在最优阈值下，SVHT 的理论 AMSE 保证是什么？与任何收缩规则所能实现的最佳可能 AMSE 相比如何？
• RQ5 最优阈值对独立同分布白噪声假设的偏离有多敏感？在有限样本设置下表现如何？

主要发现

• 当噪声水平 $\sigma$ 已知时，$n \times n$ 矩阵的最优硬阈值为 $\lambda_* = \frac{4}{\sqrt{3}}\sqrt{n}\sigma \approx 2.309\sqrt{n}\sigma$。
• 当 $\sigma$ 未知时，最优阈值为 $2.858 \cdot y_{\text{med}}$，其中 $y_{\text{med}}$ 是经验奇异值的中位数。
• 最优 SVHT 实现了 $3nr\sigma^2$ 的 AMSE 保证，优于最优调参的 TSVD 的 $5nr\sigma^2$ 上界和软阈值法的 $6nr\sigma^2$ 上界。
• 该最优阈值在所有具有有界核范数的矩阵的硬阈值规则中，提供了最佳可能的 AMSE 性能。
• 该最优阈值是唯一且可容许的，意味着不存在其他硬阈值规则能在渐近意义上实现更优的 AMSE 性能。
• 实证结果表明，即使在中等规模矩阵（$n=50$）下，SVHT 也显著优于 TSVD 和其他收缩规则，且在多种噪声分布下表现一致。