[论文解读] Nuclear norm penalization and optimal rates for noisy low rank matrix completion

Vladimir Koltchinskii, Alexandre B. Tsybakov+1 more|arXiv (Cornell University)|Nov 29, 2010

Sparse and Compressive Sensing Techniques参考文献 32被引用 637

一句话总结

本文提出了一种在噪声观测下进行低秩矩阵补全的核范数惩罚估计器，建立了在期望等距条件下的精确Oracle不等式。该方法在高维设置下（$ m_1m_2 \gg n $）实现了最优收敛速率（对数因子内），并证明了以高概率精确恢复真实秩。

ABSTRACT

This paper deals with the trace regression model where $n$ entries or linear combinations of entries of an unknown $m_1\ imes m_2$ matrix $A_0$ corrupted by noise are observed. We propose a new nuclear norm penalized estimator of $A_0$ and establish a general sharp oracle inequality for this estimator for arbitrary values of $n,m_1,m_2$ under the condition of isometry in expectation. Then this method is applied to the matrix completion problem. In this case, the estimator admits a simple explicit form and we prove that it satisfies oracle inequalities with faster rates of convergence than in the previous works. They are valid, in particular, in the high-dimensional setting $m_1m_2\\gg n$. We show that the obtained rates are optimal up to logarithmic factors in a minimax sense and also derive, for any fixed matrix $A_0$, a non-minimax lower bound on the rate of convergence of our estimator, which coincides with the upper bound up to a constant factor. Finally, we show that our procedure provides an exact recovery of the rank of $A_0$ with probability close to 1. We also discuss the statistical learning setting where there is no underlying model determined by $A_0$ and the aim is to find the best trace regression model approximating the data.

研究动机与目标

• 解决在高维设置下（$ m_1m_2 \gg n $）从噪声且不完整的观测中估计低秩矩阵的挑战。
• 提出一种核范数惩罚估计器，实现噪声低秩矩阵补全的最优收敛速率。
• 在期望等距条件下，为估计器建立精确的Oracle不等式。
• 证明估计器以高概率恢复潜在矩阵的真实秩。
• 将分析扩展至无潜在模型假设的统计学习设置，并在受限特征值条件下推导Lasso估计器的Oracle不等式。

提出的方法

• 为具有随机设计矩阵的迹回归模型提出核范数惩罚估计器，通过最小化带核范数正则化的损失函数。
• 在设计矩阵满足期望等距条件（即 $ \|A\|_{L_2(\Pi)}^2 \approx \|A\|_2^2 $）下，推导估计器的一般精确Oracle不等式。
• 将一般结果特化至均匀随机采样（USR）的矩阵补全模型，其中设计矩阵构成一个正交基。
• 应用非交换Bernstein不等式控制经验过程的偏离，从而获得估计误差的高概率界。
• 采用估计误差的两部分分解：一部分为噪声项，另一部分为迹回归模型带来的偏差。
• 在噪声的次高斯与次指数尾部假设下，建立经验过程的算子范数界。

实验结果

研究问题

• RQ1 在高维设置下，核范数惩罚估计器是否能在噪声低秩矩阵补全中实现最优收敛速率？
• RQ2 核范数估计器的精确收敛速率是多少？与先前结果相比如何？
• RQ3 在何种条件下，估计器能以高概率恢复潜在矩阵的真实秩？
• RQ4 能否在期望等距条件下为核范数估计器建立精确的Oracle不等式？
• RQ5 受限特征值条件是否意味着标准Lasso估计器在向量回归中满足精确的Oracle不等式？

主要发现

• 核范数惩罚估计器在噪声低秩矩阵补全中，以极小化最大风险意义下的最优收敛速率（对数因子内）实现。
• 估计器满足Leading常数为1的精确Oracle不等式，优于先前收敛速率较慢的结果。
• 在高维情形 $ m_1m_2 \gg n $ 下，即使矩阵为低秩，估计器仍保持快速收敛速率。
• 在噪声与设计的温和条件下，估计器以趋于1的概率恢复 $ A_0 $ 的真实秩。
• 对于次指数噪声，估计器的误差界为 $ \sigma \max\left\{ \sqrt{\frac{t + \log m}{(m_1 \wedge m_2)n}}, \frac{(t + \log m)\log^{1/\alpha}(m_1 \wedge m_2)}{n} \right\} $，与最优速率仅差对数因子。
• 在受限特征值条件下，标准Lasso估计器满足Leading常数为1的精确Oracle不等式，该结果作为副产品被推导出。