[论文解读] Selecting thresholding and shrinking parameters with generalized SURE for low rank matrix estimation

Julie Josse, Sylvain Sardy|arXiv (Cornell University)|Oct 24, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用 3

一句话总结

该论文提出了一种广义阈值化与收缩框架，用于低秩矩阵估计，该框架统一了硬阈值化与软阈值化，利用数据驱动的广义无偏风险估计（SURE）准则，自动选择最优的阈值化与收缩参数，而无需已知噪声方差。与现有方法相比，该方法在均方误差和秩估计方面均表现出更优的性能。

ABSTRACT

To estimate a low rank matrix from noisy observations, truncated singular value decomposition has been extensively used and studied: empirical singular values are hard thresholded and empirical singular vectors remain untouched. Recent estimators not only truncate but also shrink the singular values. In the same vein, we propose a continuum of thresholding and shrinking functions that encompasses hard and soft thresholding. To avoid an unstable and costly cross-validation search of their thresholding and shrinking parameters, we propose new rules to select these two regularization parameters from the data. In particular we propose a generalized Stein unbiased risk estimation criterion that does not require knowledge of the variance of the noise and that is computationally fast. In addition, it automatically selects the rank of the matrix. A Monte Carlo simulation reveals that our estimator outperforms the tested methods in terms of mean squared error and rank estimation.

研究动机与目标

• 解决传统截断奇异值分解（TSVD）仅对奇异值进行硬阈值化而无收缩的局限性。
• 开发一种灵活的阈值化与收缩函数族，统一硬阈值化与软阈值化。
• 消除在选择阈值化与收缩正则化参数时对计算成本高昂的交叉验证的需求。
• 提出一种广义SURE准则，可在无需已知噪声方差的情况下运行。
• 从数据中自动选择最优的低秩结构（即矩阵秩）。

提出的方法

• 提出一个连续的阈值化与收缩函数族，通过可调参数在硬阈值化与软阈值化之间插值。
• 提出一种专用于低秩矩阵估计且未知噪声方差的广义无偏风险估计（SURE）准则。
• 利用广义SURE准则直接从数据中估计估计器的风险，从而实现阈值化与收缩参数的数据驱动选择。
• 利用基于SURE的风险估计器，同时选择最优的阈值化水平与收缩强度。
• 通过最小化广义SURE准则，自动确定估计矩阵的有效秩。
• 实现一种计算高效的算法，避免迭代交叉验证，并利用噪声观测的奇异值分解（SVD）

实验结果

研究问题

• RQ1 是否存在一种统一的阈值化与收缩函数框架，能够使低秩矩阵估计性能超越标准的硬阈值化或软阈值化？
• RQ2 能否构建一种广义SURE准则，无需已知噪声方差，但仍能实现可靠的参数选择？
• RQ3 所提出的方法是否在均方误差（MSE）性能上优于现有阈值化与收缩估计器？
• RQ4 该方法能否在无需先验知识或交叉验证的情况下自动选择最优矩阵秩？
• RQ5 在秩估计准确性方面，所提出估计器的性能如何？

主要发现

• 在各种模拟设置下，所提出的估计器均实现了低于竞争方法的均方误差（MSE）。
• 该方法无需先验指定或交叉验证，即可自动选择最优矩阵秩。
• 广义SURE准则实现了无需噪声方差知识的快速且稳定的参数选择。
• 蒙特卡洛模拟表明，与基准方法相比，该方法在MSE和秩估计准确性方面均表现出一致的优越性。
• 该估计器在不同噪声水平和低秩结构下均表现出鲁棒性。