[论文解读] Ridge Leverage Scores for Low-Rank Approximation

Michael B. Cohen, Cameron Musco+1 more|arXiv (Cornell University)|Nov 23, 2015

Stochastic Gradient Optimization Techniques参考文献 50被引用 15

一句话总结

本文引入了岭杠杆值——在输入矩阵的 $\alpha$-正则化版本上计算的杠杆值——以实现通过重要性采样进行鲁棒且统一的低秩逼近。通过利用正则化，该方法实现了首个输入稀疏时间的迭代列采样算法，以及首个空间复杂度与流长度无关的单遍流式列子集选择算法，解决了长期存在的开放性问题。

ABSTRACT

Often used as importance sampling probabilities, leverage have become indispensable in randomized algorithms for linear algebra, optimization, graph theory, and machine learning. A major body of work seeks to adapt these to approximation problems. However, existing low-rank leverage scores can be difficult to compute, often work for just a single application, and are sensitive to matrix perturbations. We show how to avoid these issues by exploiting connections between approximation and regularization. Specifically, we employ ridge leverage scores, which are simply standard leverage computed with respect to an $\ell_2$ regularized input. Importance sampling by these gives the first unified solution to two of the most important sampling problems: $(1+\epsilon)$ error column subset selection and $(1+\epsilon)$ error projection-cost preservation. Moreover, ridge leverage satisfy a key monotonicity property that does not hold for any prior leverage scores. Their resulting robustness leads to two sought-after results in randomized linear algebra. 1) We give the first input-sparsity time approximation algorithm based on iterative column sampling, resolving an open question posed in [LMP13], [CLM+15], and [AM15]. 2) We give the first single-pass streaming column subset selection algorithm whose real-number space complexity has no dependence on stream length.

研究动机与目标

• 为解决现有低秩杠杆值难以计算、依赖特定应用且对扰动敏感的局限性。
• 统一两个基本采样问题：$(1+\epsilon)$ 误差的列子集选择与 $(1+\epsilon)$ 误差的投影代价保持。
• 开发一种对矩阵扰动具有鲁棒性的方法，并满足先前杠杆值所不具备的新单调性性质。
• 解决随机线性代数中的开放问题，特别是输入稀疏时间下的迭代列采样与空间复杂度有界的单遍流式处理。
• 为低秩逼近提供一种理论基础坚实且计算高效的替代标准杠杆值的方法。

提出的方法

• 将岭杠杆值定义为在矩阵 $A + \alpha I$ 上计算的标准杠杆值，采用 $\ell_2$ 正则化。
• 将岭杠杆值用作低秩逼近中列选择的重要性采样概率。
• 利用正则化与逼近之间的联系，确保在矩阵扰动下具有稳定性和单调性。
• 设计一种基于岭杠杆值引导列选择的迭代列采样算法，实现输入稀疏时间复杂度。
• 构建一种单遍流式算法，保持具有 $(1+\epsilon)$ 误差的列子集，且空间复杂度与流长度无关。
• 证明岭杠杆值满足一种单调性性质，确保在矩阵更新或噪声下行为的一致性。

实验结果

研究问题

• RQ1 岭杠杆值能否提供一个统一框架，以 $(1+\epsilon)$ 误差解决列子集选择与投影代价保持问题？
• RQ2 与标准杠杆值相比，正则化是否能提升杠杆值对矩阵扰动的鲁棒性？
• RQ3 岭杠杆值能否实现基于杠杆值的输入稀疏时间迭代列采样算法，从而解决随机线性代数中的一个开放问题？
• RQ4 能否利用岭杠杆值设计一种单遍流式算法，实现列子集选择且空间复杂度与流长度无关？
• RQ5 岭杠杆值是否满足先前杠杆值定义中所不具备的单调性性质？

主要发现

• 岭杠杆值满足一种先前杠杆值定义中不存在的新单调性性质，增强了对扰动的稳定性。
• 所提出的方法使用单一统一的采样框架，实现了列子集选择与投影代价保持的 $(1+\epsilon)$ 误差。
• 首次实现了基于杠杆值的输入稀疏时间迭代列采样算法，解决了 [LMP13]、[CLM+15] 和 [AM15] 中提出的开放问题。
• 开发出一种单遍流式列子集选择算法，其实现的空间复杂度与流长度无关，显著优于先前方法。
• 岭杠杆值通过将正则化与重要性采样相结合，实现了鲁棒且高效的低秩逼近，带来了可证明更优的理论保证。