[论文解读] Rate Optimal Denoising of Simultaneously Sparse and Low Rank Matrices

Dan Yang, Zongming Ma+1 more|arXiv (Cornell University)|May 2, 2014

Sparse and Compressive Sensing Techniques参考文献 36被引用 24

一句话总结

本文提出了一种用于去噪同时具有稀疏性和低秩性的矩阵的迭代阈值算法，在 $ q \in [1,2] $ 的所有 Schatten-$q$ 范数下实现了近乎极小极大最优的收敛速率。该方法在较弱条件下自适应地估计潜在矩阵，具有理论保证，并在合成数据上表现出强劲的实验性能。

ABSTRACT

We study minimax rates for denoising simultaneously sparse and low rank matrices in high dimensions. We show that an iterative thresholding algorithm achieves (near) optimal rates adaptively under mild conditions for a large class of loss functions. Numerical experiments on synthetic datasets also demonstrate the competitive performance of the proposed method.

研究动机与目标

• 建立在平方 Schatten-$q$ 范数损失下，对同时具有稀疏性和低秩性的矩阵进行去噪的极小极大下界，其中 $ q \in [1,2] $。
• 开发一种计算高效的估计器，其高概率上界与极小极大下界在对数因子内匹配。
• 通过在合成数据集上的数值实验验证理论结果。
• 解决在高维设置下同时存在稀疏性和低秩性时的结构化矩阵估计挑战。
• 在较弱正则性条件下，提供无需事先知道稀疏模式或秩的自适应去噪方法。

提出的方法

• 提出一种迭代阈值算法，通过交替对奇异向量和奇异值进行阈值处理，以恢复同时具有结构的矩阵。
• 采用分块支持估计策略，识别出非零元素集中的 $ k \times l $ 稀疏块。
• 对估计的支持块应用奇异值阈值处理，以施加低秩结构。
• 采用基于噪声水平 $ \sigma^2 $ 的数据驱动阈值规则，并通过交叉验证或浓度不等式实现自适应调参。
• 利用奇异值的交错性质以及浓度界（如 Davidson-Szarek）来控制奇异子空间估计中的估计误差。
• 通过在所有可能的子矩阵支持上使用并集界，推导出高概率误差界。

实验结果

研究问题

• RQ1 在 $ q \in [1,2] $ 的 Schatten-$q$ 范数损失下，对同时具有稀疏性和低秩性的矩阵进行估计的极小极大下界是什么？
• RQ2 是否存在一种计算高效的算法，能够在所有 $ q \in [1,2] $ 下实现该类结构化矩阵的极小极大最优收敛速率？
• RQ3 在有限样本下，所提出的迭代阈值方法与现有方法相比表现如何，特别是在高维设置下？
• RQ4 自适应阈值在无需事先知道稀疏性或秩的情况下实现最优收敛速率中起到什么作用？
• RQ5 在对信噪比和矩阵维度的弱假设下，理论界在多大程度上仍然成立？

主要发现

• 本文在所有 $ q \in [1,2] $ 的 Schatten-$q$ 范数下，建立了对同时具有稀疏性和低秩性的矩阵的估计误差的极小极大下界。
• 所提出的迭代阈值算法在所有 $ q \in [1,2] $ 下，实现了与极小极大下界相差一个乘法对数因子的高概率上界。
• 对于 Frobenius 范数（$ q=2 $），在较弱条件下，上界与下界相差一个常数因子。
• 该算法具有自适应性：在无需事先知道稀疏模式或秩 $ r $ 的情况下，仍能达到最优收敛速率。
• 在合成数据上的数值实验表明，该方法在有限样本下优于基线方法，尤其在高维情形下表现更优。
• 理论分析证实，在条件 1 下，该估计器以高概率正确恢复真实的秩 $ r $ 和支持大小 $ k \times l $。