[论文解读] Sublinear Time Eigenvalue Approximation via Random Sampling

Rajarshi Bhattacharjee, Gregory Dexter+3 more|arXiv (Cornell University)|Sep 16, 2021

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文提出了一种亚线性时间算法，通过随机采样主子矩阵，对具有有界条目的对称矩阵的所有特征值进行近似。通过采样一个 Ō(log³n/ϵ³) × Ō(log³n/ϵ³) 的子矩阵，并将其特征值按 n/s 缩放，该方法在高概率下实现了 ±ϵn 的加法误差，通过基于行稀疏性或 ℓ2 范数的非均匀采样策略，显著优于先前的界限。

ABSTRACT

We study the problem of approximating the eigenspectrum of a symmetric matrix A ∈ ℝ^{n×n} with bounded entries (i.e., ‖A‖_∞ ≤ 1). We present a simple sublinear time algorithm that approximates all eigenvalues of A up to additive error ±εn using those of a randomly sampled Õ((log³ n)/ε³)×Õ((log³ n)/ε³) principal submatrix. Our result can be viewed as a concentration bound on the complete eigenspectrum of a random submatrix, significantly extending known bounds on just the singular values (the magnitudes of the eigenvalues). We give improved error bounds of ± ε √{nnz(A)} and ±ε‖A‖_F when the rows of A can be sampled with probabilities proportional to their sparsities or their squared 𝓁₂ norms respectively. Here nnz(A) is the number of non-zero entries in A and ‖A‖_F is its Frobenius norm. Even for the strictly easier problems of approximating the singular values or testing the existence of large negative eigenvalues (Bakshi, Chepurko, and Jayaram, FOCS '20), our results are the first that take advantage of non-uniform sampling to give improved error bounds. From a technical perspective, our results require several new eigenvalue concentration and perturbation bounds for matrices with bounded entries. Our non-uniform sampling bounds require a new algorithmic approach, which judiciously zeroes out entries of a randomly sampled submatrix to reduce variance, before computing the eigenvalues of that submatrix as estimates for those of A. We complement our theoretical results with numerical simulations, which demonstrate the effectiveness of our algorithms in practice.

研究动机与目标

• 解决在亚线性时间内近似大规模对称矩阵完整特征谱的挑战。
• 通过利用矩阵条目上的结构假设，克服一般矩阵的 Ω(n²) 查询复杂度下界。
• 开发一种基于采样的算法，实现在最小输入访问下对特征值进行准确近似。
• 通过基于行稀疏性或 ℓ2 范数的非均匀采样策略改进误差界限，将误差降低至 ±ϵ√nnz(A) 或 ±ϵ‖A‖F。
• 为有界条目矩阵的随机子矩阵中的特征值集中与扰动提供理论保证。

提出的方法

• 使用均匀或非均匀采样，从原始对称矩阵 A 中采样一个大小为 Ō(log³n/ϵ³) × Ō(log³n/ϵ³) 的主子矩阵。
• 通过将采样子矩阵的特征值乘以因子 n/s，来估计完整矩阵 A 的特征值。
• 通过在采样子矩阵中选择性地置零某些条目，应用方差减少技术以提高估计精度。
• 使用与行稀疏性或 ℓ2 范数成比例的非均匀采样概率，以实现更紧的误差界限。
• 为有界条目矩阵建立新的特征值集中与扰动界限，以支持理论分析。
• 在稠密和稀疏矩阵上实现并评估该算法，与均匀采样和基线近似方法进行比较。

实验结果

研究问题

• RQ1 我们能否通过随机采样在亚线性时间内近似具有有界条目的对称矩阵的所有特征值？
• RQ2 与均匀采样相比，基于行稀疏性或 ℓ2 范数的非均匀采样如何改进特征值近似误差？
• RQ3 对于有界矩阵的随机采样子矩阵，其特征值集中可以建立哪些理论保证？
• RQ4 通过选择性地置零子矩阵条目实现的方差减少是否能提高特征值估计的准确性？
• RQ5 在实际中，与理论预测相比，误差界限如何随矩阵稀疏性和弗罗贝尼乌斯范数变化？

主要发现

• 该算法仅使用 Ō(log³n/ϵ³) × Ō(log³n/ϵ³) 的子矩阵采样，即可在近似对称矩阵 A ∈ ℝⁿˣⁿ 的所有特征值时实现 ±ϵn 的加法误差，且满足 ‖A‖∞ ≤ 1。
• 通过基于行稀疏性的非均匀采样，误差界限改善至 ±ϵ√nnz(A)，其中 nnz(A) 为 A 中非零条目的数量。
• 当基于行 ℓ2 范数进行采样时，误差界限进一步改善至 ±ϵ‖A‖F，即 A 的弗罗贝尼乌斯范数。
• 所提出的方法显著扩展了先前工作，不仅提供了完整特征谱的集中界限，而不仅限于奇异值。
• 数值模拟证实，该算法在稀疏和结构化矩阵上显著优于均匀采样和基线近似方法。
• 理论分析引入了专为有界条目矩阵设计的新特征值集中与扰动界限，从而实现了改进的误差保证。