[论文解读] The Fast Cauchy Transform: with Applications to Basis Construction, Regression, and Subspace Approximation in L1

Kenneth L. Clarkson, Petros Drineas+4 more|arXiv (Cornell University)|Jul 19, 2012

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出快速柯西变换（Fast Cauchy Transform），一种新颖方法，通过从 n×d 输入矩阵 A 和向量 b 构建大小为 S = O(d log d) 的核心集（coreset），加速 ℓ₁ 回归及相关问题。该算法运行时间为 O(nd log n)，利用柯西随机变量和约翰逊-林登施特拉（Johnson-Lindenstrauss）类型变换实现快速子空间嵌入，显著提升 p=1 及一般 p∈[1,∞) 情况下先前方法的性能，实现近似最优的 ℓ₁ 回归。

ABSTRACT

We give fast algorithms for $\ell_p$ regression and related problems: for an $n imes d$ input matrix $A$ and vector $b\in\R^n$, in $O(nd\log n)$ time we reduce the problem $\min_{x\in\R^d} orm{Ax-b}_p$ to the same problem with input matrix $ ilde A$ of dimension $S imes d$ and corresponding $ ilde b$ of dimension $S imes 1$; $ ilde A$ and $ ilde b$ are a \emph{coreset} for the problem, consisting of sampled and rescaled rows of $A$ and $b$. Here $S$ is independent of $n$, and polynomial in $d$. Our results improve on the best previous algorithms when $n\gg d$, for all $p\in [1,\infty)$ except $p=2$, in particular the $O(nd^{1.376+})$ running time of Sohler and Woodruff (STOC, 2011) for $p=1$, that uses asymptotically fast matrix multiplication, and the $O(nd^5\log n)$ time of Dasgupta \emph{et al.} (SODA, 2008) for general $p$. We also give a detailed empirical evaluation of implementations of our algorithms for $p=1$, comparing them with several related algorithms. Among other things, our results clearly show that the practice follows the theory closely, in the asymptotic regime. In addition, we show near-optimal results for $\ell_1$ regression problems that are too large for any prior solution methods. Our algorithms use our faster constructions of well-conditioned bases for $\ell_p$ spaces, and for $p=1$, a fast subspace embedding: a matrix $\Pi: \R^n\mapsto \R^{O(d\log d)}$, found obliviously to $A$, that approximately preserves the $\ell_1$ norms of all vectors in $\{Ax\mid x\in\R^d\}$; that is, $ orm{Ax}_1 \approx orm{\Pi Ax}_1$, for all $x$, with distortion $ ilde O(d^2)$. Moreover, $\Pi A$ can be computed in $O(nd\log d)$ time. Our techniques include fast Johnson-Lindenstrauss transforms, low coherence matrices, and rescaling by Cauchy random variables.

研究动机与目标

• 开发一种快速、实用的 ℓ₁ 回归算法，能够高效扩展至大规模 n 和中等 d 的场景。
• 构建 ℓ₁ 空间中具有良好条件的基，支持低失真快速子空间嵌入。
• 将 ℓ₁ 回归的计算成本从 O(nd⁵ log n) 降低至 O(nd log n)，同时保持近似最优的精度。
• 为柯西随机变量在 ℓ₁ 问题维度约简中的应用提供理论与实证基础。
• 证明理论性能提升可转化为大规模数据集上的实际加速。

提出的方法

• 利用快速柯西变换构造子空间嵌入矩阵 Π ∈ ℝ^{O(d log d)×n}，近似保持所有向量 Ax（x ∈ ℝ^d）的 ℓ₁ 范数。
• 通过独立同分布的柯西随机变量进行重缩放，实现在 ℓ₁ 空间中稳定且条件良好的基构造。
• 使用快速约翰逊-林登施特拉变换降低维度，同时以 Õ(d²) 的失真保留 ℓ₁ 结构。
• 通过采样并重缩放 A 和 b 的行，构建大小为 S = O(d log d) 的核心集，确保约简后的问题近似原始 ℓ₁ 回归问题。
• 在 O(nd log d) 时间内计算 ΠA，为后续回归或子空间逼近提供高效预处理。
• 结合低相干性矩阵构造与随机化维度约简，确保数值稳定性和快速计算。

实验结果

研究问题

• RQ1 能否在 Õ(d²) 失真和 O(nd log d) 计算时间内构造出 ℓ₁ 范数的快速子空间嵌入？
• RQ2 快速柯西变换是否能在 O(nd log n) 时间内将 ℓ₁ 回归问题约简为大小为 O(d log d) 的核心集？
• RQ3 所提算法在实践中与先前方法相比表现如何，特别是在大规模数据集上？
• RQ4 理论上的加速程度在真实世界数据上在多大程度上转化为实际加速？
• RQ5 该方法能否扩展至现有求解器无法处理的 ℓ₁ 回归问题规模？

主要发现

• 快速柯西变换在 O(nd log n) 时间内构建大小为 S = O(d log d) 的核心集，将 ℓ₁ 回归约简为更小且等价的问题。
• 该算法在保持 A 的列空间中所有向量的 ℓ₁ 范数时，实现 Õ(d²) 的失真，支持高精度近似。
• 该方法在 O(nd log d) 时间内计算 ΠA，显著优于先前方法在一般 p 情况下 O(nd⁵ log n) 的时间复杂度。
• 对于 p=1，该算法性能优于 Sohler 和 Woodruff（2011）提出的 O(nd^{1.376+}) 时间方法，尤其在 n ≫ d 时优势更明显。
• 实证评估证实，理论性能提升在实践中得到体现，对大规模数据集展现出强大的可扩展性。
• 该方法使原本无法被先前算法求解的 ℓ₁ 回归问题实现近似最优求解，证明了其在大规模场景下的实际可行性。