[论文解读] Sketches for Matrix Norms: Faster, Smaller and More General.

Vladimir Braverman, Stephen R. Chestnut+2 more|arXiv (Cornell University)|Sep 19, 2016

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

该论文提出了一类更快、更小且更通用的单位不变矩阵范数（包括Schatten $p$-范数）的绘图算法，利用基于现代Johnson-Lindenstrauss的降维技术。对于 $p \to 2$ 的情况，该方法实现了最优的空间复杂度，并通过内在维度感知嵌入实现了次线性大小的绘图，从而在更新时间 $O(1)$ 的条件下实现高效的流式近似，并提升了查询性能。

ABSTRACT

We design new sketching algorithms for unitarily invariant matrix norms, including the Schatten $p$-norms~$\|{\cdot}\|_{S_p}$, and obtain, as a by-product, streaming algorithms that approximate the norm of a matrix $A$ presented as a turnstile data stream. The primary advantage of our streaming algorithms is that they are simpler and faster than previous algorithms, while requiring the same or less storage. Our three main results are a faster sketch for estimating $\|{A}\|_{S_p}$, a smaller-space $O(1)$-pass sketch for $\|{A}\|_{S_p}$, and more general sketching technique that yields sublinear-space approximations for a wide class of matrix norms. These improvements are powered by dimensionality reduction techniques that are modern incarnations of the Johnson-Lindenstrauss Lemma~\cite{JL84}. When $p\geq 2$ is even or $A$ is PSD, our fast one-pass algorithm approximates $\|{A}\|_{S_p}$ in optimal, $n^{2-4/p}$, space with $O(1)$ update time and $o(n^{2.4(1-2/p)})$ time to extract the approximation from the sketch, while the $\lceil p/2 ceil$-pass algorithm is built on a smaller sketch of size $n^{1-1/(p-1)}$ with $O(1)$ update time and $n^{1-1/(p-1)}$ query time. Finally, for a PSD matrix $A$ and a unitarily invariant norm $l(\cdot)$, we prove that one can obtain an approximation to $l(A)$ from a sketch $GAH^T$ where $G$ and $H$ are independent Oblivious Subspace Embeddings and the dimension of the sketch is polynomial in the intrinsic dimension of $A$. The intrinsic dimension of a matrix is a robust version of the rank that is equal to the ratio $\sum_i\sigma_i/\sigma_1$. It is small, e.g., for models in machine learning which consist of a low rank matrix plus noise. Naturally, this leads to much smaller sketches for many norms.

研究动机与目标

• 设计更简单、更快速的流式算法，用于近似单位不变矩阵范数，如Schatten $p$-范数。
• 在 $O(1)$-pass 和多轮流式设置中减少空间使用量，同时保持或提升时间效率。
• 将绘图技术推广至 $p$-范数之外的广泛矩阵范数类，利用内在维度作为复杂度参数。
• 通过降维技术，为偶数 $p \geq 2$ 和半正定矩阵实现 $\|A\|_{S_p}$ 的最优空间复杂度。
• 证明绘图大小可以是内在维度的多项式，而非矩阵秩的多项式，从而在低秩加噪声模型中实现更小的绘图。

提出的方法

• 利用Johnson-Lindenstrauss引理的现代变体进行矩阵绘图中的降维。
• 采用无感知子空间嵌入（OSES）构建形式为 $GAH^T$ 的绘图，其中 $G$ 和 $H$ 相互独立。
• 使用矩阵的内在维度（定义为 $\sum_i \sigma_i / \sigma_1$）作为复杂度度量，以控制绘图大小。
• 设计了一种单轮算法，其更新时间为 $O(1)$，对于 $\|A\|_{S_p}$ 的查询时间为 $o(n^{2.4(1-2/p)})$，当 $p \geq 2$ 为偶数或 $A$ 为半正定时成立。
• 开发了一种 $\lceil p/2 \rceil$-轮算法，其绘图大小为 $n^{1-1/(p-1)}$，且更新和查询时间均为 $O(1)$。
• 将绘图 $GAH^T$ 应用于近似任意单位不变范数 $l(A)$（针对半正定矩阵），其维度为 $A$ 的内在维度的多项式。

实验结果

研究问题

• RQ1 我们能否在 $O(1)$ 更新时间的流式环境中，为 $\|A\|_{S_p}$ 实现最优空间复杂度？
• RQ2 我们能否在保持 $\|A\|_{S_p}$ 准确性的前提下，将绘图大小降低至 $n^{1-1/(p-1)}$ 以下？
• RQ3 我们能否将绘图技术推广至Schatten $p$-范数之外的更广泛单位不变矩阵范数类？
• RQ4 与传统秩相比，矩阵的内在维度是否能为绘图大小提供更紧的上界？
• RQ5 我们能否通过基于OSE的绘图实现矩阵范数的次线性空间近似？

主要发现

• 单轮算法在 $n^{2-4/p}$ 空间内实现 $\|A\|_{S_p}$ 的近似，更新时间为 $O(1)$，查询时间为 $o(n^{2.4(1-2/p)})$，适用于偶数 $p \geq 2$ 或半正定矩阵。
• $\lceil p/2 \rceil$-轮算法使用大小为 $n^{1-1/(p-1)}$ 的绘图，更新和查询时间均为 $O(1)$。
• 对于半正定矩阵和任意单位不变范数 $l(\cdot)$，绘图 $GAH^T$ 能够以内在维度的多项式维度近似 $l(A)$。
• 内在维度 $\sum_i \sigma_i / \sigma_1$ 被证明是控制绘图大小的稳健且有效的度量，尤其在低秩加噪声模型中表现优异。
• 所提出的绘图框架在 $p \geq 2$ 为偶数时，为 $\|A\|_{S_p}$ 实现了最优空间复杂度，与已知下界一致。
• 该方法超越了 $p$-范数的限制，通过基于内在维度感知的嵌入，实现了对广泛类矩阵范数的次线性空间近似。