[论文解读] Row Sampling for Matrix Algorithms via a Non-Commutative Bernstein Bound

Malik Magdon‐Ismail|arXiv (Cornell University)|Aug 3, 2010

Sparse and Compressive Sensing Techniques参考文献 34被引用 29

一句话总结

本文提出了一种 o(md²) 算法，通过非交换 Bernstein 不等式实现基于行采样的矩阵近似，在矩阵乘法、稀疏重构和 ℓ² 回归中实现相对误差保证。该工作首次提出一种无需 SVD 即可计算杠杆度分数（关键采样概率）的方法，利用快速随机投影实现与稳定秩的近线性依赖关系，从而在标准随机投影方法之外实现高效且保留原始行信息的近似。

ABSTRACT

We focus the use of \emph{row sampling} for approximating matrix algorithms. We give applications to matrix multipication; sparse matrix reconstruction; and, \math{\ell_2} regression. For a matrix \math{\matA\in\R^{m imes d}} which represents \math{m} points in \math{d\ll m} dimensions, all of these tasks can be achieved in \math{O(md^2)} via the singular value decomposition (SVD). For appropriate row-sampling probabilities (which typically depend on the norms of the rows of the \math{m imes d} left singular matrix of \math{\matA} (the \emph{leverage scores}), we give row-sampling algorithms with linear (up to polylog factors) dependence on the stable rank of \math{\matA}. This result is achieved through the application of non-commutative Bernstein bounds. We then give, to our knowledge, the first algorithms for computing approximations to the appropriate row-sampling probabilities without going through the SVD of \math{\matA}. Thus, these are the first \math{o(md^2)} algorithms for row-sampling based approximations to the matrix algorithms which use leverage scores as the sampling probabilities. The techniques we use to approximate sampling according to the leverage scores uses some powerful recent results in the theory of random projections for embedding, and may be of some independent interest. We confess that one may perform all these matrix tasks more efficiently using these same random projection methods, however the resulting algorithms are in terms of a small number of linear combinations of all the rows. In many applications, the actual rows of \math{\matA} have some physical meaning and so methods based on a small number of the actual rows are of interest.

研究动机与目标

• 开发用于矩阵近似任务（如矩阵乘法、稀疏重构和 ℓ² 回归）的高效行采样算法。
• 基于杠杆度分数（左奇异矩阵的行范数）的采样概率，实现相对误差保证。
• 在 o(md²) 时间内计算近似杠杆度分数，而无需执行完整的 SVD。
• 在应用中保留原始行的物理可解释性，以应对随机投影产生的线性组合不足以满足需求的情况。

提出的方法

• 应用非交换 Bernstein 不等式，推导出具有相对误差的矩阵乘法采样保证。
• 利用随机投影高效近似杠杆度分数，避免 SVD 所带来的 O(md²) 计算开销。
• 采用 Johnson-Lindenstrauss 类嵌入和快速保距投影，以亚线性时间估计行范数（即杠杆度分数）。
• 在估计的杠杆度分数上引入阈值化机制，以稳定归一化过程，防止小数值的膨胀。
• 推导投影矩阵迹的界，以确保杠杆度分数估计的集中性。
• 结合上述技术，构建采样概率，从而在高概率下实现相对误差近似。

实验结果

研究问题

• RQ1 行采样算法能否在 o(md²) 复杂度下，对矩阵乘法、稀疏重构和 ℓ² 回归实现相对误差近似？
• RQ2 是否可能在不计算完整 SVD 的情况下，近似杠杆度分数（非均匀采样中的关键量）？
• RQ3 如何利用随机投影仅以多对数时间复杂度的额外开销估计杠杆度分数？
• RQ4 杠杆度分数估计误差对矩阵算法最终近似质量有何影响？
• RQ5 所得到的采样概率能否被有效归一化，以在避免小噪声估计带来的偏差的同时保持准确性？

主要发现

• 该论文通过非交换 Bernstein 不等式，在 r = O(ρ log d / ε²) 行下实现了矩阵乘法的相对误差近似，其中 ρ 为稳定秩。
• 通过利用随机投影近似杠杆度分数，首次提出一种 o(md²) 的基于行采样的矩阵近似算法。
• 利用快速嵌入，杠杆度分数被估计在真实值的多对数因子范围内，从而实现无需 SVD 的高效采样。
• 该方法确保估计的采样概率与真实杠杆度分数在常数因子范围内，从而保持近似质量。
• 通过阈值化策略稳定估计分数的归一化过程，防止小估计误差引起的失真。
• 该框架支持 ℓ² 回归和稀疏矩阵重构的高效、行保留算法，并对误差和运行时间提供了理论保证。