[论文解读] Restricted strong convexity and weighted matrix completion: Optimal bounds with noise

Sahand Negahban, Martin J. Wainwright|arXiv (Cornell University)|Sep 10, 2010

Sparse and Compressive Sensing Techniques参考文献 36被引用 434

一句话总结

该论文在噪声采样下建立了加权矩阵补全的受限强凸性（RSC），证明了加权Frobenius范数下的非渐近误差界。它提出了一种M-估计器，结合数据保真项与加权核范数正则化，相较于先前工作，在更宽松的尖峰性和低秩性条件下实现了最优恢复速率。

ABSTRACT

We consider the matrix completion problem under a form of row/column weighted entrywise sampling, including the case of uniform entrywise sampling as a special case. We analyze the associated random observation operator, and prove that with high probability, it satisfies a form of restricted strong convexity with respect to weighted Frobenius norm. Using this property, we obtain as corollaries a number of error bounds on matrix completion in the weighted Frobenius norm under noisy sampling and for both exact and near low-rank matrices. Our results are based on measures of the "spikiness" and "low-rankness" of matrices that are less restrictive than the incoherence conditions imposed in previous work. Our technique involves an $M$-estimator that includes controls on both the rank and spikiness of the solution, and we establish non-asymptotic error bounds in weighted Frobenius norm for recovering matrices lying with $\ell_q$-"balls" of bounded spikiness. Using information-theoretic methods, we show that no algorithm can achieve better estimates (up to a logarithmic factor) over these same sets, showing that our conditions on matrices and associated rates are essentially optimal.

研究动机与目标

• 在加权、噪声采样下建立矩阵补全问题的受限强凸性（RSC）条件。
• 推导在噪声条件下低秩矩阵恢复的加权Frobenius范数下的非渐近误差界。
• 通过引入矩阵尖峰性和低秩性的度量，放宽先前工作中使用的非一致性条件。
• 通过信息论下界证明，所提方法在对数因子范围内达到极小极大最优速率。
• 统一并推广均匀与非均匀采样结果，包括重加权核范数正则化。

提出的方法

• 形式化定义加权Frobenius范数，并定义矩阵类 $\mathfrak{C}$，其满足有界的 $\ell_q$-尖峰性与低秩结构。
• 提出一种M-估计器，结合数据保真项与加权核范数正则化项，以控制矩阵的秩与尖峰性。
• 证明随机观测算子在矩阵类 $\mathfrak{C}$ 上以高概率满足受限强凸性（RSC）。
• 利用矩阵集中不等式，包括Ahlswede-Winter界，控制噪声项的算子范数。
• 通过链式论证与对称化方法，界定了Rademacher混沌过程的期望上确界。
• 通过RSC与正则化项的可分解性，推导出非渐近误差界，从而获得最优速率。

实验结果

研究问题

• RQ1 加权矩阵补全的随机观测算子是否以高概率满足受限强凸性？
• RQ2 能否为噪声近似低秩矩阵在加权Frobenius范数下推导出非渐近误差界？
• RQ3 与先前工作中使用的非一致性条件相比，对矩阵尖峰性和低秩性的条件是否更宽松？
• RQ4 所提方法能否在噪声采样下实现极小极大最优速率？
• RQ5 在非均匀采样场景下，加权核范数估计器的性能与标准核范数相比如何？

主要发现

• 随机观测算子在矩阵类 $\mathfrak{C}$ 上以高概率满足受限强凸性，从而支持紧致的误差界。
• 所提M-估计器在噪声条件下于加权Frobenius范数下达到 $\mathcal{O}\big(\sqrt{\frac{d \log d}{n}}\big)$ 量级的误差界。
• 通过信息论下界验证，该方法在对数因子范围内达到最优速率。
• 通过采用 $\ell_q$-尖峰性与低秩性度量，放宽了非一致性假设，这些度量更具包容性。
• 误差界适用于均匀与非均匀采样，包括重加权核范数正则化作为特例。
• 噪声项期望算子范数的界为 $\mathbb{E}[\|\frac{1}{n}\sum \varepsilon_i \widetilde{X}^{(i)}\|_2] \leq 10 \max\big\{\sqrt{\frac{L d \log d}{n}}, \frac{L d \log d}{n}\big\}$，该界用于推导最终误差速率。