[论文解读] The Power of Convex Relaxation: Near-Optimal Matrix Completion

Emmanuel J. Candès, Terence Tao|ArXiv.org|Mar 9, 2009

Sparse and Compressive Sensing Techniques参考文献 16被引用 32

一句话总结

该论文在奇异向量满足非一致性假设的前提下，证明了当观测条目数量在 $nr\log n$ 数量级时，通过核范数最小化可高概率实现低秩矩阵补全。关键贡献在于建立了近乎最优的理论保证，表明通过核范数最小化的凸松弛方法可高概率实现精确恢复，其性能与信息论极限仅相差对数因子。

ABSTRACT

This paper is concerned with the problem of recovering an unknown matrix from a small fraction of its entries. This is known as the matrix completion problem, and comes up in a great number of applications, including the famous Netflix Prize and other similar questions in collaborative filtering. In general, accurate recovery of a matrix from a small number of entries is impossible; but the knowledge that the unknown matrix has low rank radically changes this premise, making the search for solutions meaningful. This paper presents optimality results quantifying the minimum number of entries needed to recover a matrix of rank r exactly by any method whatsoever (the information theoretic limit). More importantly, the paper shows that, under certain incoherence assumptions on the singular vectors of the matrix, recovery is possible by solving a convenient convex program as soon as the number of entries is on the order of the information theoretic limit (up to logarithmic factors). This convex program simply finds, among all matrices consistent with the observed entries, that with minimum nuclear norm. As an example, we show that on the order of nr log(n) samples are needed to recover a random n x n matrix of rank r by any method, and to be sure, nuclear norm minimization succeeds as soon as the number of entries is of the form nr polylog(n).

研究动机与目标

• 确定精确恢复一个低秩矩阵所需的最少观测条目数量。
• 分析通过核范数最小化的凸松弛方法是否可在最小采样条件下实现精确矩阵补全。
• 建立与信息论下界仅相差对数因子的矩阵补全理论保证。
• 识别出在何种条件下（特别是奇异向量的非一致性）可通过凸优化实现精确恢复。

提出的方法

• 提出核范数最小化作为非凸低秩矩阵恢复问题的凸松弛方法。
• 使用半定规划高效求解核范数最小化问题。
• 应用优化中的对偶性与随机矩阵理论分析恢复条件。
• 对矩阵的左、右奇异向量引入非一致性假设，以确保信息的均匀采样。
• 运用自由概率论与随机矩阵理论工具，对随机采样算子的奇异值进行上界估计。
• 基于递推关系分析算子范数，以控制恢复过程中迭代投影的行为。

实验结果

研究问题

• RQ1 恢复一个秩为 $r$ 的矩阵所需的最小信息论条目数量是多少？
• RQ2 核范数最小化能否在接近信息论极限的条目数量下恢复低秩矩阵？
• RQ3 在何种奇异向量条件下，可通过凸松弛实现精确矩阵补全？
• RQ4 采样模式（如均匀随机采样）如何影响核范数最小化方法的恢复性能？
• RQ5 非一致性在实现近乎最优矩阵补全的凸松弛方法中起到什么作用？

主要发现

• 当观测条目数量在 $nr\log n$ 数量级时，只要满足非一致性假设，即可高概率实现精确矩阵补全，其性能与信息论下界仅相差对数因子。
• 在非一致性假设下，只要条目数量为 $O(nr\,\text{polylog}(n))$，核范数最小化即可精确恢复真实的低秩矩阵。
• 只要奇异向量与标准基非一致，该恢复保证对所有秩为 $r$ 的低秩矩阵均成立。
• 当条目均匀随机采样且采样率超过 $C \cdot nr \log n / n^2$（$C$ 为某常数）时，该方法仍能成功。
• 分析表明，核范数最小化问题对噪声具有鲁棒性，且可通过半定规划高效求解。
• 理论界是紧致的：任何方法都无法从少于 $2nr - r^2$ 个条目中恢复秩为 $r$ 的矩阵，而所提方法仅需在该极限之上增加对数阶的额外条目即可实现恢复。