[论文解读] Near-Optimal Column-Based Matrix Reconstruction

Christos Boutsidis, Petros Drineas+1 more|arXiv (Cornell University)|Mar 4, 2011

Sparse and Compressive Sensing Techniques参考文献 22被引用 66

一句话总结

本文提出了适用于低秩矩阵重构的渐近最优、多项式时间的确定性与随机化算法，仅使用列的子集，实现了接近最优的谱范数与Frobenius范数误差。该工作引入了快速近似SVD-like分解，并提出了基于单位矩阵稀疏表示的新型确定性列选择技术，解决了关于列基矩阵逼近的开放性问题，并实现了紧致的误差界。

ABSTRACT

We consider low-rank reconstruction of a matrix using its columns and we present asymptotically optimal algorithms for both spectral norm and Frobenius norm reconstruction. The main tools we introduce to obtain our r esults are: (i) the use of fast approximate SVD-like decompositions for column reconstruction, and (ii) two deter ministic algorithms for selecting rows from matrices with orthonormal columns, building upon the sparse represen tation theorem for decompositions of the identity that appeared in \cite{BSS09}.

研究动机与目标

• 开发多项式时间算法，从矩阵A中选择r ≫ k列以重构矩阵，使误差接近最优低秩逼近A_k。
• 解决关于Frobenius范数中实现相对误差重构所需最少列数的开放性问题。
• 在谱范数与Frobenius范数上均实现渐近最优的逼近保证，与已证明的下界相匹配。
• 提供与随机化方法在误差界方面性能相当的确定性算法，优于先前的上界。

提出的方法

• 利用快速近似SVD-like分解，实现高效的基于列的矩阵重构。
• 提出两种基于单位矩阵稀疏表示定理的确定性算法，用于从具有标准正交列的矩阵中选择行。
• 采用新颖的分析框架，将误差分解为块，并在基数约束下最小化迹表达式。
• 应用自适应选择的随机采样，识别出O(k/ε)列，实现在Frobenius范数下的相对误差重构。
• 通过分析误差矩阵的块对角形式结构，并在固定列数下最小化其迹，推导误差界。
• 采用Moore-Penrose广义逆C⁺将A投影到所选列C的列空间上，以最小化重构误差。

实验结果

研究问题

• RQ1 实现Frobenius范数下相对误差重构所需的最少列数是多少？是否可以高效实现？
• RQ2 在谱范数与Frobenius范数方面，确定性算法能否在列基矩阵重构中达到与随机化算法相当的性能？
• RQ3 是否可以构建在谱范数与Frobenius范数上均实现渐近最优误差界的算法？
• RQ4 误差界如何随所选列数r与目标秩k的变化而变化？
• RQ5 能否将近似因子相对于最优列选择进行有界，而不仅相对于最优低秩逼近A_k？

主要发现

• 本文建立了Frobenius范数重构误差的下界，与所提算法的上界相匹配，证明了渐近最优性。
• 在Frobenius范数下，O(k/ε)列足以实现(1+ε)‖A−A_k‖_F的相对误差，与已知的Ω(k/ε)下界相匹配。
• 所提出的随机化算法运行时间低于SVD时间，优于先前最佳上界O(k log k + k/ε)。
• 所提算法的谱范数重构误差渐近匹配已证明的下界，实现了近似最优性。
• 确定性算法实现了与随机化算法相同的误差保证，为列选择提供了理论保证的去随机化路径。
• 本文表明，列空间C中最佳秩-k逼近的误差界‖A−Π_C,k^F(A)‖_F²可相对于最优列选择进行有界，尽管确切的近似因子仍为开放问题。