[论文解读] Subspace Embeddings and $\ell_p$-Regression Using Exponential Random Variables

David P. Woodruff, Qin Zhang|arXiv (Cornell University)|May 23, 2013

Sparse and Compressive Sensing Techniques参考文献 28被引用 22

一句话总结

本文提出了一种基于指数随机变量的新型无偏子空间嵌入方法，用于 ℓ_p-回归，实现了 O(nnz(M)) 时间复杂度的最优计算，并在所有 p ∈ [1, ∞) 下达到 poly(d) 的失真度。该方法将 ℓ₁ 到 ℓ₁ 嵌入的最优失真从 Õ(d³) 改进至 Õ(d²)，并首次提供了适用于分布式 ℓ_p-回归的近乎最优协议，实现 poly(d) 近似解，且避免了对一般凸规划的依赖。

ABSTRACT

Oblivious low-distortion subspace embeddings are a crucial building block for numerical linear algebra problems. We show for any real $p, 1 \leq p < \infty$, given a matrix $M \in \mathbb{R}^{n imes d}$ with $n \gg d$, with constant probability we can choose a matrix $Π$ with $\max(1, n^{1-2/p}) \poly(d)$ rows and $n$ columns so that simultaneously for all $x \in \mathbb{R}^d$, $\|Mx\|_p \leq \|ΠMx\|_{\infty} \leq \poly(d) \|Mx\|_p.$ Importantly, $ΠM$ can be computed in the optimal $O( nz(M))$ time, where $ nz(M)$ is the number of non-zero entries of $M$. This generalizes all previous oblivious subspace embeddings which required $p \in [1,2]$ due to their use of $p$-stable random variables. Using our matrices $Π$, we also improve the best known distortion of oblivious subspace embeddings of $\ell_1$ into $\ell_1$ with $ ilde{O}(d)$ target dimension in $O( nz(M))$ time from $ ilde{O}(d^3)$ to $ ilde{O}(d^2)$, which can further be improved to $ ilde{O}(d^{3/2}) \log^{1/2} n$ if $d = Ω(\log n)$, answering a question of Meng and Mahoney (STOC, 2013). We apply our results to $\ell_p$-regression, obtaining a $(1+\eps)$-approximation in $O( nz(M)\log n) + \poly(d/\eps)$ time, improving the best known $\poly(d/\eps)$ factors for every $p \in [1, \infty) \setminus \{2\}$. If one is just interested in a $\poly(d)$ rather than a $(1+\eps)$-approximation to $\ell_p$-regression, a corollary of our results is that for all $p \in [1, \infty)$ we can solve the $\ell_p$-regression problem without using general convex programming, that is, since our subspace embeds into $\ell_{\infty}$ it suffices to solve a linear programming problem. Finally, we give the first protocols for the distributed $\ell_p$-regression problem for every $p \geq 1$ which are nearly optimal in communication and computation.

研究动机与目标

• 解决当 p > 2 时，缺乏高效且无偏的 ℓ_p-回归子空间嵌入的问题，其中先前依赖 p-稳定分布的方法失效。
• 将现有 ℓ₁ 到 ℓ₁ 嵌入的失真度从 Õ(d³) 改进至 Õ(d²)，并在 d = Ω(log n) 时进一步优化至 Õ(d^{3/2})log^{1/2}n，回答了 Meng 和 Mahoney 提出的开放问题。
• 为所有 p ≥ 1 设计一种近乎最优的分布式 ℓ_p-回归协议，实现通信与计算的高效性，支持大规模可扩展回归。
• 为所有 p ∈ [1, ∞) ∩ {2} 提供一种 poly(d/ε) 时间的 (1+ε)-近似 ℓ_p-回归算法，优于先前的 poly(d/ε) 因子。
• 证明所有 p ∈ [1, ∞) 的 ℓ_p-回归问题可通过嵌入至 ℓ_∞ 转化为线性规划求解，从而避免使用一般凸规划。

提出的方法

• 提出一种基于指数随机变量的新无偏子空间嵌入矩阵 Π，可在所有 p ∈ [1, ∞) 下实现 poly(d) 失真度。
• 构造 Π，其行数为 max(1, n^{1-2/p})poly(d)，列数为 n，确保对所有 x ∈ ℝ^d，有 ‖Mx‖_p ≤ ‖ΠMx‖_∞ ≤ poly(d)‖Mx‖_p。
• 通过利用指数随机变量的结构与稀疏采样，实现 ΠM 计算的最优 O(nnz(M)) 时间复杂度。
• 利用嵌入至 ℓ_∞ 的方法，将 ℓ_p-回归问题转化为求解线性规划问题，从而在 p ∈ [1, ∞) 下避免使用一般凸规划。
• 设计一种分布式协议，各计算节点分别计算本地嵌入并仅发送采样行，通过分层采样与 QR 分解最小化通信开销。
• 利用引理 7 与引理 10，在每个节点上计算常数因子失真嵌入，并通过 QR 分解获得全局良好条件基。

实验结果

研究问题

• RQ1 能否构造一种适用于所有 p ∈ [1, ∞)（包括 p > 2）的无偏子空间嵌入，且不依赖于 p-稳定分布？
• RQ2 在 O(nnz(M)) 时间内，ℓ₁ 到 ℓ₁ 嵌入的最优失真度能达到多好？是否可进一步优于 Õ(d³)？
• RQ3 能否设计一种适用于所有 p ≥ 1 的分布式 ℓ_p-回归协议，实现通信高效与计算可扩展？
• RQ4 是否可能仅通过线性规划求解所有 p ∈ [1, ∞) 的 ℓ_p-回归问题，从而避免使用一般凸规划？
• RQ5 能否在 O(nnz(M)log n) + poly(d/ε) 时间内实现所有 p ∈ [1, ∞) ∩ {2} 的 (1+ε)-近似 ℓ_p-回归？

主要发现

• 本文构造了一种基于指数随机变量的无偏子空间嵌入，可在所有 p ∈ [1, ∞) 下实现 poly(d) 失真度，且行数为 O(max(1, n^{1-2/p})poly(d))。
• 嵌入 ΠM 可在最优 O(nnz(M)) 时间内计算，支持回归问题的快速预处理。
• 对于 ℓ₁ 到 ℓ₁ 嵌入，失真度从 Õ(d³) 改进至 Õ(d²)，并在 d = Ω(log n) 时进一步优化至 Õ(d^{3/2})log^{1/2}n，解决了 Meng 和 Mahoney 提出的开放问题。
• 为所有 p ∈ [1, ∞) ∩ {2} 实现了 (1+ε)-近似 ℓ_p-Regression 算法，时间复杂度为 O(nnz(M)log n) + poly(d/ε)，优于先前的 poly(d/ε) 因子。
• 所有 p ∈ [1, ∞) 的 ℓ_p-回归问题可通过嵌入至 ℓ_∞ 转化为线性规划求解，从而无需使用一般凸规划。
• 首次为所有 p ≥ 1 提出了近乎最优的分布式 ℓ_p-回归协议，总通信复杂度为 O(kd^{2+γ} + d^5 log²d + d^{3+p}log(1/ε)/ε²)，总运行时间为 O(nnz(Ṁ)log n + kd^{2+γ} + d^{7-p/2}log^{3-p/2}d + φ(O(d^{2+p}log(1/ε)/ε²), d))。