[论文解读] OSNAP: Faster numerical linear algebra algorithms via sparser subspace embeddings

Jelani Nelson, Huy L. Nguyên|arXiv (Cornell University)|Nov 5, 2012

Stochastic Gradient Optimization Techniques参考文献 34被引用 23

一句话总结

本文提出了 OSNAP，一种新型的无偏稀疏范数近似投影，通过在嵌入维数 $ m $ 与稀疏度 $ s $ 之间实现最优权衡，使数值线性代数算法运行更快。它首次构造出满足 $ m = \tilde{O}(d/\varepsilon^2) $ 且 $ s = \mathrm{polylog}(d)/\varepsilon $ 的 OSE，显著优于先前的界，同时保持 $ O(1) $-wise 或 $ O(\log d) $-wise 独立性，适用于高效流式处理应用。

ABSTRACT

An "oblivious subspace embedding (OSE)" given some parameters eps,d is a distribution D over matrices B in R^{m x n} such that for any linear subspace W in R^n with dim(W) = d it holds that Pr_{B ~ D}(forall x in W ||B x||_2 in (1 +/- eps)||x||_2) > 2/3 We show an OSE exists with m = O(d^2/eps^2) and where every B in the support of D has exactly s=1 non-zero entries per column. This improves previously best known bound in [Clarkson-Woodruff, arXiv:1207.6365]. Our quadratic dependence on d is optimal for any OSE with s=1 [Nelson-Nguyen, 2012]. We also give two OSE's, which we call Oblivious Sparse Norm-Approximating Projections (OSNAPs), that both allow the parameter settings m = Õ(d/eps^2) and s = polylog(d)/eps, or m = O(d^{1+gamma}/eps^2) and s=O(1/eps) for any constant gamma>0. This m is nearly optimal since m >= d is required simply to no non-zero vector of W lands in the kernel of B. These are the first constructions with m=o(d^2) to have s=o(d). In fact, our OSNAPs are nothing more than the sparse Johnson-Lindenstrauss matrices of [Kane-Nelson, SODA 2012]. Our analyses all yield OSE's that are sampled using either O(1)-wise or O(log d)-wise independent hash functions, which provides some efficiency advantages over previous work for turnstile streaming applications. Our main result is essentially a Bai-Yin type theorem in random matrix theory and is likely to be of independent interest: i.e. we show that for any U in R^{n x d} with orthonormal columns and random sparse B, all singular values of BU lie in [1-eps, 1+eps] with good probability. Plugging OSNAPs into known algorithms for numerical linear algebra problems such as approximate least squares regression, low rank approximation, and approximating leverage scores implies faster algorithms for all these problems.

研究动机与目标

• 通过构建在嵌入维数 $ m $ 与稀疏度 $ s $ 之间具有最优权衡的更稀疏无偏子空间嵌入（OSE），设计更快的数值线性代数算法。
• 实现 $ m = \tilde{O}(d/\varepsilon^2) $ 与 $ s = \mathrm{polylog}(d)/\varepsilon $，优于先前构造中 $ m = O(d^2/\varepsilon^2) $ 与 $ s = 1 $ 的结果。
• 确保使用 $ O(1) $-wise 或 $ O(\log d) $-wise 独立的哈希函数构造 OSE，以在流式处理及其他应用中实现高效性。
• 在随机矩阵理论中提出一个新的 Bai-Yin 型定理，证明对于任意正交矩阵 $ U \in \mathbb{R}^{n \times d} $，$ \Pi U $ 的所有奇异值以高概率落在 $ [1-\varepsilon, 1+\varepsilon] $ 区间内。
• 将新嵌入应用于加速基本的数值线性代数问题，如最小二乘回归、低秩逼近和杠杆度估计。

提出的方法

• 将 OSNAP 构造为每列仅有 $ s = 1 $ 个非零元素的稀疏 Johnson-Lindenstrauss 矩阵，实现 $ m = O(d^2/\varepsilon^2) $，这是 $ s = 1 $ 情况下的最优结果。
• 提出两种新型 OSE 构造：一种为 $ m = \tilde{O}(d/\varepsilon^2) $，$ s = \mathrm{polylog}(d)/\varepsilon $；另一种为 $ m = O(d^{1+\gamma}/\varepsilon^2) $，$ s = O(1/\varepsilon) $（对任意 $ \gamma > 0 $），两者均实现近乎最优的 $ m $。
• 使用 $ O(1) $-wise 或 $ O(\log d) $-wise 独立的哈希函数采样嵌入矩阵，从而在流式处理和分布式环境中实现高效实现。
• 证明了一个新的 Bai-Yin 型结果：对于任意正交矩阵 $ U \in \mathbb{R}^{n \times d} $，$ \Pi U $ 的奇异值以高概率落在 $ [1-\varepsilon, 1+\varepsilon] $ 区间内，这是 OSE 保证的核心。
• 将这些嵌入应用于已知的最小二乘回归、低秩逼近和杠杆度估计算法，通过利用稀疏性与最优 $ m $ 缩短运行时间。
• 采用矩阵乘法与 SVD 近似技术，时间复杂度为 $ O(\operatorname{nnz}(A)) $ 与 $ \tilde{O}(r^\omega) $，其中 $ r = \mathrm{rank}(A) $，$ \omega $ 为矩阵乘法指数。

实验结果

研究问题

• RQ1 我们能否构造出满足 $ m = \tilde{O}(d/\varepsilon^2) $ 且 $ s = \mathrm{polylog}(d)/\varepsilon $ 的无偏子空间嵌入（OSE），实现接近最优的嵌入维数与稀疏投影？
• RQ2 是否可能实现 $ m = O(d^{1+\gamma}/\varepsilon^2) $ 与 $ s = O(1/\varepsilon) $（对任意常数 $ \gamma > 0 $），同时保证所有低维子空间中向量的强集中性？
• RQ3 对于 $ m = O(d^2/\varepsilon^2) $ 的 OSE，其最小稀疏度 $ s $ 是多少？能否在实现最优 $ m $ 的前提下达到 $ s = 1 $？
• RQ4 能否将稀疏 Johnson-Lindenstrauss 矩阵的分析扩展，以导出随机稀疏投影的新型 Bai-Yin 型定理？
• RQ5 这些新型 OSE 如何提升最小二乘回归与低秩逼近等基本数值线性代数问题的运行时间？

主要发现

• 本文构造出 $ m = O(d^2/\varepsilon^2) $ 且 $ s = 1 $ 的 OSE，这是 $ s = 1 $ 情况下的最优结果，优于先前 $ s = 1 $ 且 $ m = O(d^2/\varepsilon^2) $ 的构造。
• 提出两种新型 OSE 构造：一种为 $ m = \tilde{O}(d/\varepsilon^2) $，$ s = \mathrm{polylog}(d)/\varepsilon $；另一种为 $ m = O(d^{1+\gamma}/\varepsilon^2) $，$ s = O(1/\varepsilon) $，两者均实现 $ m = o(d^2) $ 与 $ s = o(d) $，是首次实现此类结果的构造。
• OSE 通过 $ O(1) $-wise 或 $ O(\log d) $-wise 独立的哈希函数采样，使其在流式处理及其他低内存场景中实现高效。
• 证明了一个新的 Bai-Yin 型定理：对于任意正交矩阵 $ U \in \mathbb{R}^{n \times d} $，$ \Pi U $ 的所有奇异值以高概率落在 $ [1-\varepsilon, 1+\varepsilon] $ 区间内，这是 OSE 保证的核心。
• 将 OSNAP 应用于最小二乘回归，运行时间可达到 $ \tilde{O}(\operatorname{nnz}(A) + r^\omega) $，接近最优，并优于先前算法在 $ r $ 因子上的更差依赖关系。
• 在低秩逼近中，本文实现了时间复杂度 $ \tilde{O}(\operatorname{nnz}(A) + nk^2 + nk^{\omega-1}\varepsilon^{-1-\omega} + k^\omega\varepsilon^{-2-\omega}) $，通过更稀疏的嵌入与高效矩阵运算优于先前方法。