[论文解读] On Convergence of the Alternating Projection Method for Matrix Completion and Sparse Recovery Problems

Ming‐Jun Lai, Abraham Varghese|arXiv (Cornell University)|Nov 6, 2017

Sparse and Compressive Sensing Techniques参考文献 43被引用 10

一句话总结

该论文在观测条目源自低秩矩阵的假设下，建立了交替投影（AP）算法在低秩矩阵补全和稀疏恢复中的收敛性及线性收敛速率。证明了当条目随机采样时，以概率1，一个秩为 $ r $ 的矩阵只能以有限种方式完成，并提供了AP方法线性收敛到真实低秩解的条件。

ABSTRACT

In this paper, we study the convergence of Alternating Projection (AP) algorithm for the matrix completion and compressed sensing problems. We also present computational evidence for the excellent performance of the algorithm. Also, in the last section, we prove using algebraic-geometric techniques that, fixing the known positions, if a rank r matrix can be completed in finitely many ways using one given set of known entries, then, for almost all set of known entries, the matrix can be only completed into a rank r matrix in finitely many ways.

研究动机与目标

• 为低秩矩阵补全和稀疏恢复中的交替投影（AP）算法建立理论收敛保证。
• 确定AP算法线性收敛到真实低秩解的充分条件。
• 分析在固定观测条目下矩阵可能的完成数量，表明以概率1，仅存在有限个秩为 $ r $ 的完成解。
• 提供一种改进初始猜测的方法，相比标准的 $ M_{\text{obs}} $ 初始化，可显著加速收敛。
• 在图像恢复任务中展示算法性能，验证其实际有效性。

提出的方法

• 使用代数几何工具，特别是仿射与射影概形理论，分析低秩矩阵集合的结构。
• 应用维数理论和态射性质，证明投影映射 $ \tilde{\Phi}_{\Omega} $ 下，一般观测向量的原像为零维，意味着仅有有限个完成解。
• 利用概形的次数概念，对从观测条目中可能得到的秩为 $ r $ 的完成解数量进行上界估计。
• 借助Zariski拓扑和开稠密集，证明对于几乎所有观测条目配置，完成解的数量是有限的。
• 利用引理17和引理19，证明低秩矩阵概形在观测映射下的像的维数等于原概形的维数，从而保证正则性。
• 应用代数几何结果（如文献[43]中的推论3）证明，观测映射下具有有限原像的点集是Zariski开稠密集，因此具有全测度。

实验结果

研究问题

• RQ1 在何种条件下，交替投影算法在矩阵补全问题中收敛到真实的低秩解？
• RQ2 AP算法在何时表现出线性收敛？何种几何或代数条件可保证该收敛速率？
• RQ3 给定一个秩为 $ r $ 的矩阵的观测条目集合，有多少个不同的秩为 $ r $ 的矩阵可以完成这些观测条目？
• RQ4 我们能否刻画那些使矩阵补全问题具有唯一解或有限解的观测条目配置集合？
• RQ5 如何选择AP算法的初始猜测，使其相比标准初始化 $ M_{\Omega} $ 显著加速收敛？

主要发现

• 以概率1，任意 $ r $-可行的观测条目向量仅导致有限个秩为 $ r $ 的完成解，确保解集为离散集。
• 可能完成解的数量上界由概形 $ \overline{\mathcal{M}_r} $ 的次数给出，即 $ \prod_{i=0}^{n-r-1}\frac{\binom{n+i}{r}}{\binom{r+i}{r}} $，该上界为紧致上界。
• 在假设观测条目来自秩为 $ r $ 的矩阵的前提下，AP算法收敛到真实的低秩矩阵，且在适当条件下收敛为线性。
• 收敛性分析依赖于：在投影映射下，一般观测向量的原像为零维，该结论源于维数相等性和态射理论。
• 导致有限完成解的观测配置集合是Zariski开稠密集，意味着此类配置是通用的且具有全Lebesgue测度。
• 本文提供了一种构造性方法，用于选择优于 $ M_{\Omega} $ 的初始猜测，可在实际中显著提升AP算法的收敛速度。