[论文解读] Optimal approximate matrix product in terms of stable rank

Michael B. Cohen, Jelani Nelson+1 more|arXiv (Cornell University)|Jul 8, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用 64

一句话总结

该论文证明，通过使用具有 $ m = O(\tilde{r}/\varepsilon^2) $ 行的随机、与数据无关的降维映射 $\Pi$，可以实现谱误差下的近似矩阵乘法（AMM），其中 $\tilde{r}$ 是输入矩阵的稳定秩（Frobenius 范数与算子范数之比的平方）。关键贡献在于表明，只要任意无偏子空间嵌入（OSE）分布满足维度 $2\tilde{r}$ 的矩方法条件，即可用于 AMM，从而将先前仅限于次高斯草图的结果推广至快速且稀疏的嵌入。

ABSTRACT

We prove, using the subspace embedding guarantee in a black box way, that one can achieve the spectral norm guarantee for approximate matrix multiplication with a dimensionality-reducing map having $m = O( ilde{r}/\varepsilon^2)$ rows. Here $ ilde{r}$ is the maximum stable rank, i.e. squared ratio of Frobenius and operator norms, of the two matrices being multiplied. This is a quantitative improvement over previous work of [MZ11, KVZ14], and is also optimal for any oblivious dimensionality-reducing map. Furthermore, due to the black box reliance on the subspace embedding property in our proofs, our theorem can be applied to a much more general class of sketching matrices than what was known before, in addition to achieving better bounds. For example, one can apply our theorem to efficient subspace embeddings such as the Subsampled Randomized Hadamard Transform or sparse subspace embeddings, or even with subspace embedding constructions that may be developed in the future. Our main theorem, via connections with spectral error matrix multiplication shown in prior work, implies quantitative improvements for approximate least squares regression and low rank approximation. Our main result has also already been applied to improve dimensionality reduction guarantees for $k$-means clustering [CEMMP14], and implies new results for nonparametric regression [YPW15]. We also separately point out that the proof of the "BSS" deterministic row-sampling result of [BSS12] can be modified to show that for any matrices $A, B$ of stable rank at most $ ilde{r}$, one can achieve the spectral norm guarantee for approximate matrix multiplication of $A^T B$ by deterministically sampling $O( ilde{r}/\varepsilon^2)$ rows that can be found in polynomial time. The original result of [BSS12] was for rank instead of stable rank. Our observation leads to a stronger version of a main theorem of [KMST10].

研究动机与目标

• 解决一个开放问题：稳定秩而非秩是否决定谱误差下近似矩阵乘法的最优降维维度。
• 刻画随机和确定性降维映射 $\Pi$ 的类别，以确保在 $A^T B$ 近似中实现谱范数误差。
• 通过用稳定秩替代秩来统一并推广先前关于草图矩阵（如次高斯、稀疏、快速 Johnson-Lindenstrauss）的研究结果。
• 证明现有草图方法分析（尤其是依赖于矩边界的分析）可自动为 AMM 提供稳定秩保证。
• 展示具有 $O(\tilde{r}/\varepsilon^2)$ 个非零元素的确定性行采样矩阵可实现谱范数 AMM，优于以往基于秩的保证。

提出的方法

• 引入一种将无偏子空间嵌入（OSE）的矩方法分析与其在近似矩阵乘法（AMM）中适用性的联系进行表征的方法。
• 证明：若一个 OSE 分布 $\mathcal{D}$ 通过矩边界满足维度 $2\tilde{r}$ 的 $(\varepsilon, \delta, 2\tilde{r})$-OSE 条件，则其可保证稳定秩为 $\tilde{r}$ 的矩阵实现谱误差 AMM。
• 将此表征应用于已知的草图矩阵（如次高斯、稀疏、快速哈达玛矩阵），表明其基于稳定秩的边界是最优且可推广的。
• 基于 BSS 行采样框架开发一种确定性算法，修改为使用稳定秩而非秩，从而得到具有 $O(\tilde{r}/\varepsilon^2)$ 个非零元素的矩阵。
• 利用障碍函数和矩阵扰动理论（Sherman-Morrison 公式）分析随机舍入过程构造草图矩阵的收敛性。
• 利用与谱误差矩阵乘法先前工作的联系，推导出低秩逼近、回归和核方法的改进边界。

实验结果

研究问题

• RQ1 能否以稳定秩而非秩来表征近似矩阵乘法的降维维度？
• RQ2 是否每个满足维度 $k$ 矩边界的无偏子空间嵌入（OSE）也保证对稳定秩为 $k$ 的矩阵实现 AMM？
• RQ3 能否将快速且稀疏草图矩阵（如子采样随机哈达玛矩阵、稀疏 JL）的分析从秩推广到稳定秩？
• RQ4 是否存在一种具有 $O(\tilde{r}/\varepsilon^2)$ 个非零元素的确定性草图矩阵构造方法，可实现谱范数 AMM？
• RQ5 能否将 BSS 确定性行采样结果从秩加强到稳定秩，其对低秩逼近和回归有何影响？

主要发现

• 具有 $ m = O(\tilde{r}/\varepsilon^2) $ 行的随机、与数据无关的草图矩阵 $\Pi$ 足够实现谱误差下的近似矩阵乘法，其中 $\tilde{r}$ 是输入矩阵的稳定秩。
• 任何满足维度 $2\tilde{r}$ 矩方法条件的无偏子空间嵌入（OSE）分布，均可保证稳定秩为 $\tilde{r}$ 的矩阵实现 AMM，从而推广了先前仅限于次高斯草图的结果。
• 该结果适用于广泛的草图矩阵类别，包括稀疏、快速和结构化矩阵（如子采样随机哈达玛矩阵），使其分析可实现基于稳定秩的边界。
• 可多项式时间计算出具有 $O(\tilde{r}/\varepsilon^2)$ 个非零元素的确定性草图矩阵，且可实现谱范数 AMM，优于原始 BSS 结果中使用的基于秩的保证。
• 主要结果意味着在机器学习中流行的核函数（如高斯核和 Sobolev 核）的低秩逼近可实现更快速度，并改进了 $k$-均值聚类的降维效果。
• 该框架还结合已有结果，为近似最小二乘回归和非参数回归提供了改进的边界。