[论文解读] On the Provable Convergence of Alternating Minimization for Matrix Completion.

Moritz Hardt|arXiv (Cornell University)|Dec 3, 2013

Sparse and Compressive Sensing Techniques参考文献 19被引用 14

一句话总结

本文提出了一种可证明收敛的交替最小化算法用于矩阵补全，在标准无偏性假设下实现了线性收敛速度，与之前的工作相比，所需样本复杂度在秩和条件数上至少降低了四次方因子。该方法利用了对子空间迭代的稳健分析，并引入了一种新颖的中间迭代值相干性控制技术。

ABSTRACT

Alternating Minimization is a widely used and empirically successful framework for Matrix Completion and related low-rank optimization problems. We give a new algorithm based on Alternating Minimization that provably recovers an unknown low-rank matrix from a random subsample of its entries under a standard incoherence assumption while achieving a linear convergence rate. Compared to previous work our results reduce the provable sample complexity requirements of the Alternating Minimization approach by at least a quartic factor in the rank and the condition number of the unknown matrix. These improvements apply when the matrix is exactly low-rank and when it is only close to low-rank in the Frobenius norm. Underlying our work is a new robust convergence analysis of the well-known Subspace Iteration algorithm for computing the dominant singular vectors of a matrix also known as the Power Method. This viewpoint leads to a conceptually simple understanding of Alternating Minimization that we exploit. Additionally, we contribute a new technique for controlling the coherence of intermediate solutions arising in iterative algorithms. These techniques may be of interest beyond their application here.

研究动机与目标

• 为低秩矩阵补全中的交替最小化建立可证明的收敛保证。
• 将低秩矩阵恢复所需的样本复杂度在秩和条件数上至少降低四次方因子。
• 将收敛保证扩展至在弗罗贝尼乌斯范数下仅近似低秩的矩阵。
• 为处理不完整或含噪声数据，在迭代低秩逼近中开发子空间迭代的稳健分析。
• 为迭代矩阵恢复算法中的中间解的相干性提出一种新控制技术。

提出的方法

• 该算法采用交替最小化，从观测条目随机子集出发，迭代估计未知低秩矩阵的行空间和列空间。
• 其利用子空间迭代（幂方法）计算主导奇异子空间的稳健收敛分析，从而在数据不完整时仍能保持稳定性。
• 引入一种新颖的相干性控制机制，以限制中间解矩阵的相干性，防止迭代过程中出现病态。
• 在未知矩阵的标准无偏性假设下，该分析建立了线性收敛速率。
• 理论保证同时适用于精确低秩和在弗罗贝尼乌斯范数下近似低秩的矩阵。
• 与之前可证明的结果相比，该方法通过将对秩和条件数的依赖降低四次方因子，实现了改进的样本复杂度。

实验结果

研究问题

• RQ1 在标准无偏性假设下，是否可证明矩阵补全的交替最小化在降低样本复杂度的前提下实现线性收敛？
• RQ2 如何控制迭代低秩算法中中间解的相干性，以确保稳定收敛？
• RQ3 使用交替最小化进行低秩矩阵可证明恢复所需的最小样本复杂度是多少？
• RQ4 子空间迭代的收敛分析能否扩展至处理矩阵补全中不完整或含噪声的数据？
• RQ5 理论保证如何推广至仅在弗罗贝尼乌斯范数下近似低秩的矩阵？

主要发现

• 所提出的算法在标准无偏性假设下实现了矩阵补全的线性收敛。
• 与之前可证明的结果相比，所需样本复杂度在秩和条件数上均至少降低了四次方因子。
• 该方法适用于在弗罗贝尼乌斯范数下精确低秩和近似低秩的矩阵。
• 对子空间迭代的新型稳健分析使得即使在数据不完整时也能实现稳定收敛。
• 新颖的相干性控制技术确保了中间解在整个迭代过程中保持良好条件。
• 理论框架通过子空间迭代为交替最小化提供了概念上简洁且有原则的理解。