[论文解读] Optimal CUR Matrix Decompositions

Christos Boutsidis, David P. Woodruff|arXiv (Cornell University)|May 30, 2014

Sparse and Compressive Sensing Techniques被引用 39

一句话总结

本文提出了首个输入稀疏时间复杂度的确定性算法，用于 CUR 矩阵分解，实现了最优相对误差近似，其中 $ c = O(k/ε) $ 列，$ r = O(k/ε) $ 行，且 $ \text{rank}(\mathbf{U}) = k $，其性能与最优下界相比仅差常数因子。这些算法确保 $ \|\mathbf{A} - \mathbf{C}\mathbf{U}\mathbf{R}\|_\mathrm{F}^2 \leq (1+\varepsilon)\|\mathbf{A} - \mathbf{A}_k\|_\mathrm{F}^2 $，从而解决了随机化与确定性 CUR 分解领域长期存在的开放问题。

ABSTRACT

The CUR decomposition of an $m imes n$ matrix $A$ finds an $m imes c$ matrix $C$ with a subset of $c < n$ columns of $A,$ together with an $r imes n$ matrix $R$ with a subset of $r < m$ rows of $A,$ as well as a $c imes r$ low-rank matrix $U$ such that the matrix $C U R$ approximates the matrix $A,$ that is, $ || A - CUR ||_F^2 \le (1+ε) || A - A_k||_F^2$, where $||.||_F$ denotes the Frobenius norm and $A_k$ is the best $m imes n$ matrix of rank $k$ constructed via the SVD. We present input-sparsity-time and deterministic algorithms for constructing such a CUR decomposition where $c=O(k/ε)$ and $r=O(k/ε)$ and rank$(U) = k$. Up to constant factors, our algorithms are simultaneously optimal in $c, r,$ and rank$(U)$.

研究动机与目标

• 解决关于最优 CUR 分解的开放问题：在实现相对误差近似的同时，最小化列数、行数及 $ \mathbf{U} $ 的秩。
• 设计运行时间与矩阵中非零元素数量成正比的算法，即输入稀疏时间复杂度，以实现大规模矩阵近似的高效性。
• 提供随机化与确定性算法，均实现 $ (1+\varepsilon) $-相对误差近似，并达到最优参数配置。
• 证明一个匹配的下界，表明 $ c = \Omega(k/\varepsilon) $ 与 $ r = \Omega(k/\varepsilon) $ 是必要的，从而在常数因子范围内确立了最优性。

提出的方法

• 所提出的方法采用一种原型算法框架，基于杠杆度量和子空间采样选择列与行，以确保低近似误差。
• 对于随机化算法，列与行的采样基于 $ \ell_2 $-范数与杠杆度量的重要性采样，以保留矩阵结构。
• 确定性算法在候选列与行上采用贪心选择策略，以最小化残差误差，从而保证最坏情况下的性能保障。
• 该方法的核心在于将 $ \mathbf{U} $ 构造为所选列与行的伪逆，以最小化 $ \|\mathbf{A} - \mathbf{C}\mathbf{U}\mathbf{R}\|_\mathrm{F}^2 $。
• 理论分析利用矩阵扰动理论与正交投影的性质，将残差误差与最佳低秩近似 $ \mathbf{A}_k $ 相关联。
• 通过构造对称矩阵推导下界，证明 $ \Omega(k/\varepsilon) $ 列与行对于实现 $ (1+\varepsilon) $-相对误差近似是必要的。

实验结果

研究问题

• RQ1 是否存在 $ (1+\varepsilon) $-误差 CUR 算法，能够选择最优数量的列与行，即 $ O(k/\varepsilon) $，与理论下界相匹配？
• RQ2 能否构建一个 $ \text{rank}(\mathbf{U}) = k $ 的 CUR 分解，其秩与最佳低秩近似 $ \mathbf{A}_k $ 相同，同时保持相对误差保证？
• RQ3 是否存在一种输入稀疏时间复杂度的 CUR 分解算法，其运行时间与 $ \mathbf{A} $ 的非零元素数量成正比，从而实现对大规模稀疏矩阵的可扩展性？
• RQ4 能否构建一个确定性、多项式时间的 $ (1+\varepsilon) $-误差 CUR 算法，从而解决 CUR 分解中关于确定性的开放问题？

主要发现

• 本文提出了一种随机化 CUR 算法，其运行时间在输入稀疏时间复杂度内，且满足 $ \|\mathbf{A} - \mathbf{C}\mathbf{U}\mathbf{R}\|_\mathrm{F}^2 \leq (1+\varepsilon)\|\mathbf{A} - \mathbf{A}_k\|_\mathrm{F}^2 $，其中列数 $ c = O(k/\varepsilon) $，行数 $ r = O(k/\varepsilon) $。
• 本文还提供了一种确定性 CUR 算法，其运行时间在多项式时间内，且在相同最优参数配置下达到相同的相对误差界。
• 本文证明了一个匹配的下界，表明任何 $ (1+\varepsilon) $-相对误差 CUR 分解均需至少 $ \Omega(k/\varepsilon) $ 列与 $ \Omega(k/\varepsilon) $ 行，从而在常数因子范围内确认了最优性。
• 证明了 $ \mathbf{U} $ 的秩最优为 $ k $，与最佳低秩近似 $ \mathbf{A}_k $ 的秩完全匹配，且该条件对于实现相对误差保证是必要的。
• 下界构造使用了一个对称的分块对角矩阵，包含 $ k $ 个 $ \mathbf{D} $ 的副本，证明若列或行少于 $ \Omega(k/\varepsilon) $，则无法达到所需的误差界。
• 分析表明，对于 $ \varepsilon $-相对误差近似，列数 $ c $ 必须满足 $ c = \Omega(k/\varepsilon) $，行数 $ r $ 同样如此，从而确认了所提算法的最优性。