[论文解读] Robust Low-Rank Matrix Recovery

Jianqing Fan, Weichen Wang+1 more|arXiv (Cornell University)|Mar 28, 2016

Sparse and Compressive Sensing Techniques参考文献 15被引用 5

一句话总结

本文提出了一种鲁棒的惩罚迹回归方法，用于在重尾噪声下恢复低秩矩阵，通过用截断或收缩的鲁棒损失替代二次损失。在仅要求噪声具有有界 2+δ 矩的条件下，该方法在重尾噪声下实现了与先前在次高斯误差下研究结果相同的最优收敛速率，同时推导出了显式的收敛速率，并作为副产品提出了一种新的鲁棒协方差估计器。

ABSTRACT

This paper focuses on robust estimation of the low-rank matrix $\Theta^*$ from the trace regression model $Y= ext{Tr} (\Theta^{*T} X) +\epsilon$. It encompasses four popular problems: sparse linear models, compressive sensing, matrix completion and multi-task regression as its specific examples. Instead of optimizing penalized least-squares, our robust penalized least-squares approach is to replace the quadratic loss by its robust version, which is obtained by the appropriate truncations or shrinkage of the data and hence is very easy to implement. Under only bounded $2+\delta$ moment condition on the noise, we show that the proposed robust penalized trace regression yields an estimator that possesses the same rates as those presented in Negahban and Wainwright (2011, 2012a) with sub-Gaussian error assumption. The rates of convergence are explicitly derived. As a byproduct, we also give a robust covariance matrix estimator called the shrinkage sample covariance and establish its concentration inequality in terms of the spectral norm when the random sample has only bounded fourth moment.

研究动机与目标

• 解决噪声分布仅具有有界矩而非次高斯尾部时的低秩矩阵恢复挑战。
• 为在迹回归模型中估计低秩矩阵，开发一种计算简单但统计鲁棒的方法。
• 将低秩恢复方法的应用范围扩展到具有重尾或污染误差的实际数据。
• 在最小矩假设下，为所提出的鲁棒估计器推导显式收敛速率。
• 提出一种鲁棒的收缩样本协方差估计器，并在有界四阶矩下建立其浓度不等式。

提出的方法

• 用通过数据截断或收缩得到的鲁棒损失替代惩罚迹回归中的标准二次损失，以降低对重尾误差的敏感性。
• 采用基于鲁棒损失函数的惩罚优化框架，从未观测的迹回归数据中估计低秩矩阵 $ heta^*$。
• 对响应变量 $Y$ 进行截断或收缩，以控制异常值和重尾噪声的影响。
• 在噪声具有有界 $2+\delta$ 矩的条件下，推导理论收敛速率，无需假设次高斯尾部。
• 提出一种基于收缩的样本协方差估计器，对重尾分布具有鲁棒性。
• 在有界四阶矩下，为鲁棒协方差估计器建立谱范数浓度不等式。

实验结果

研究问题

• RQ1 在不假设次高斯误差分布的前提下，能否使低秩矩阵恢复对重尾噪声具有鲁棒性？
• RQ2 在仅要求噪声具有有界 $2+\delta$ 矩的条件下，鲁棒低秩估计器的最优收敛速率是什么？
• RQ3 与标准最小二乘法相比，所提出的鲁棒损失函数在统计效率和鲁棒性方面表现如何？
• RQ4 能否构造一种在有界四阶矩下仍保持浓度性质的鲁棒协方差估计器？
• RQ5 在较弱的矩假设下，鲁棒迹回归估计器是否能达到与先前次高斯结果相同的收敛速率？

主要发现

• 所提出的鲁棒惩罚迹回归估计器在仅要求噪声具有有界 $2+\delta$ 矩的条件下，实现了与 Negahban 和 Wainwright (2011, 2012a) 所得结果相同的最优收敛速率。
• 收敛速率被显式推导，并在给定矩假设下被证明是最优的。
• 基于数据截断或收缩的鲁棒损失函数，使估计在重尾误差下保持稳定和高效。
• 提出了一种新的鲁棒协方差估计器——收缩样本协方差，并证明其在有界四阶矩下于谱范数下具有集中性。
• 在最小矩条件下建立了鲁棒协方差估计器的浓度不等式，将经典结果推广至重尾设定。
• 该方法计算简单，易于实现，适用于压缩感知、矩阵补全和多任务回归等实际应用。