[论文解读] Schatten Norms in Matrix Streams: Hello Sparsity, Goodbye Dimension

Vladimir Braverman, Robert Krauthgamer+2 more|arXiv (Cornell University)|Jul 11, 2019

Complex Network Analysis Techniques参考文献 46被引用 5

一句话总结

本论文提出了首个用于在行序模型中估计双稀疏矩阵的施瓦茨 $p$-范数的流式算法，其空间复杂度与矩阵维度 $n$ 无关，利用矩阵条目上的随机游走实现。关键贡献在于，对于偶数整数 $p$，实现了与维度无关的空间复杂度 $ ilde{O}( au^{-2}k^{p/2})$，从而能够在网络分析和机器学习等应用中高效进行大规模稀疏矩阵的谱分析。

ABSTRACT

Spectral functions of large matrices contains important structural information about the underlying data, and is thus becoming increasingly important. Many times, large matrices representing real-world data are \emph{sparse} or \emph{doubly sparse} (i.e., sparse in both rows and columns), and are accessed as a \emph{stream} of updates, typically organized in \emph{row-order}. In this setting, where space (memory) is the limiting resource, all known algorithms require space that is polynomial in the dimension of the matrix, even for sparse matrices. We address this challenge by providing the first algorithms whose space requirement is \emph{independent of the matrix dimension}, assuming the matrix is doubly-sparse and presented in row-order. Our algorithms approximate the Schatten $p$-norms, which we use in turn to approximate other spectral functions, such as logarithm of the determinant, trace of matrix inverse, and Estrada index. We validate these theoretical performance bounds by numerical experiments on real-world matrices representing social networks. We further prove that multiple passes are unavoidable in this setting, and show extensions of our primary technique, including a trade-off between space requirements and number of passes.

研究动机与目标

• 解决在内存受限的数据流模型中估计大规模稀疏矩阵谱函数的挑战。
• 克服现有算法即使对于稀疏矩阵也需多项式空间复杂度 $n$ 的局限性。
• 开发空间复杂度仅依赖于稀疏度 $k$ 和近似误差 $\varepsilon$ 而不依赖于 $n$ 的流式算法。
• 将该方法扩展至近似关键谱函数，如矩阵逆的迹、行列式的对数以及埃斯特拉达指数。
• 通过在社交网络和合作网络的真实稀疏矩阵上的数值实验，验证算法的鲁棒性与实际效率。

提出的方法

• 基于随机游走的估计器，用于近似偶数整数 $p$ 的施瓦茨 $p$-范数，其中每条游走以捕捉谱结构的方式采样条目。
• 利用行序流模型按字典序处理矩阵，实现对稀疏条目的高效且无状态的遍历。
• 设计多轮算法，通过在各轮之间复用随机游走以降低空间复杂度，代价是轮数与空间之间的权衡。
• 对于半正定矩阵，通过谱分解和矩估计，将方法扩展至所有整数 $p \geq 1$。
• 应用浓度不等式，控制 $t$ 个独立随机游走平均值的误差，确保以高概率实现 $\varepsilon$-近似。
• 将施瓦茨 $p$-范数估计器作为构建模块，利用已知的函数关系近似其他谱函数。

实验结果

研究问题

• RQ1 是否能在单轮流式模型中，以与矩阵维度 $n$ 无关的空间复杂度，估计双稀疏矩阵的施瓦茨 $p$-范数？
• RQ2 在行序流模型中，是否能够实现如矩阵逆的迹和行列式对数等谱函数的与维度无关的空间复杂度？
• RQ3 在实际中，随机游走的数量（即空间）与稀疏度 $k$ 和范数参数 $p$ 的关系如何，相较于理论边界？
• RQ4 当矩阵接近稀疏时，算法是否对微小扰动或噪声保持鲁棒？
• RQ5 在近似稀疏矩阵的施瓦茨范数时，轮数与空间复杂度之间存在何种权衡？

主要发现

• 所提出的算法对偶数整数 $p$ 实现了 $\tilde{O}(\varepsilon^{-2}k^{p/2})$ 的空间复杂度，与矩阵维度 $n$ 无关，适用于行序模型中的双稀疏矩阵。
• 在 arXiv 合作网络上的数值实验表明，实际所需的随机游走数量比理论边界 $O(\varepsilon^{-2}k^{p/2})$ 小几个数量级。
• 对于 GR-QC 合作网络（$n=5242$），算法仅用远少于理论预测数量的游走，即可在 $10\%$ 误差范围内近似施瓦茨 6-范数。
• 算法对小随机噪声保持鲁棒，即使 $1/5$ 的条目被 $\mathcal{N}(0, 0.1^2)$ 扰动，仍能维持精度，表明其在近似稀疏矩阵中的实际可用性。
• 所需游走数量随 $p$ 增大而缓慢增长，而非指数增长，表明其在近似埃斯特拉达指数和逆矩阵迹等谱函数方面具有实际可行性。
• 在五个真实世界矩阵中，实现 $10\%$ 相对误差的中位游走数在几百到几千之间，远低于理论上的上界。