[论文解读] Sketched SVD: Recovering Spectral Features from Compressive Measurements

Anna C. Gilbert, Jae Young Park+1 more|arXiv (Cornell University)|Nov 2, 2012

Sparse and Compressive Sensing Techniques参考文献 28被引用 55

一句话总结

该论文提出了一种名为 Sketched SVD 的流式算法，通过使用 Johnson-Lindenstrauss 变换的压缩测量，从分布式、资源受限的传感器中高效恢复大规模低秩数据矩阵的奇异值和右奇异向量。在每列使用 m = O(kε⁻²(log(1/ε) + log(1/δ))) 次测量的情况下，该方法以高概率保证 (1−ε)¹ᐟ² ≤ σ′ⱼ/σⱼ ≤ (1+ε)¹ᐟ² 且向量误差较小，从而实现对如图拉普拉斯矩阵等大规模流式数据的谱分析。

ABSTRACT

We consider a streaming data model in which n sensors observe individual streams of data, presented in a turnstile model. Our goal is to analyze the singular value decomposition (SVD) of the matrix of data defined implicitly by the stream of updates. Each column i of the data matrix is given by the stream of updates seen at sensor i. Our approach is to sketch each column of the matrix, forming a "sketch matrix" Y, and then to compute the SVD of the sketch matrix. We show that the singular values and right singular vectors of Y are close to those of X, with small relative error. We also believe that this bound is of independent interest in non-streaming and non-distributed data collection settings. Assuming that the data matrix X is of size Nxn, then with m linear measurements of each column of X, we obtain a smaller matrix Y with dimensions mxn. If m = O(k ε^{-2} (log(1/ε) + log(1/δ)), where k denotes the rank of X, then with probability at least 1-δ, the singular values σ'_j of Y satisfy the following relative error result (1-ε)^(1/2)<= σ'_j/σ_j <= (1 + ε)^(1/2) as compared to the singular values σ_j of the original matrix X. Furthermore, the right singular vectors v'_j of Y satisfy ||v_j-v_j'||_2 <= min(sqrt{2}, (ε\sqrt{1+ε})/(\sqrt{1-ε}) max_{i eq j} (\sqrt{2}σ_iσ_j)/(min_{c\in[-1,1]}(|σ^2_i-σ^2_j(1+cε)|))) as compared to the right singular vectors v_j of X. We apply this result to obtain a streaming graph algorithm to approximate the eigenvalues and eigenvectors of the graph Laplacian in the case where the graph has low rank (many connected components).

研究动机与目标

• 解决在无法完整存储的情况下，对大规模、分布式或流式数据进行谱分析（SVD/特征分解）的挑战。
• 设计一种通信高效、线性、非自适应的压缩方案，使传感器能够在向中央处理器传输前本地压缩数据。
• 在不存储或传输原始数据的情况下，实现对数据矩阵 X 的奇异值和右奇异向量的准确恢复。
• 在压缩框架下，为奇异值的相对误差和奇异向量的夹角误差提供理论保证。
• 将该方法应用于流式图数据，特别是对低秩图（如高度不连通的网络）的图拉普拉斯矩阵的特征值和特征向量进行近似。

提出的方法

• 使用从满足分布式 Johnson-Lindenstrauss (JL) 性质的分布中抽取的随机 m×N 测量矩阵 Φ，对数据矩阵 X 的每一列进行压缩。
• 维护一个压缩矩阵 Y = ΦX，其中每一列 yⱼ 是数据向量 xⱼ 的压缩版本，并在 turnstile 流式模型中增量式更新。
• 计算压缩矩阵 Y = UΣ'Vᵀ 的 SVD，以估计原始矩阵 X 的奇异值 σ′ⱼ 和右奇异向量 v′ⱼ。
• 利用测度集中性和 JL 嵌入理论，对奇异值的相对误差和真实与估计的右奇异向量之间的 ℓ² 距离进行界约束。
• 通过将图 G 的关联矩阵 X 建模为数据矩阵，将该框架应用于图数据，从而实现图拉普拉斯矩阵 L_G 的谱近似。
• 使用 Y 的平方奇异值来估计 L_G 的特征值 λ′ⱼ，使用 Y 的右奇异向量来估计 L_G 的特征向量 v′ⱼ。

实验结果

研究问题

• RQ1 我们能否仅通过每列少量的压缩线性测量，在不存储原始数据的情况下，恢复大规模低秩数据矩阵的谱特征（奇异值和右奇异向量）？
• RQ2 为确保在高概率下，压缩矩阵 Y 的奇异值和右奇异向量与原始矩阵 X 的值足够接近，每列所需的最少测量数 m 是多少？
• RQ3 估计的奇异值和奇异向量的误差如何依赖于奇异值间隙和失真参数 ε？
• RQ4 该压缩框架能否有效应用于流式图数据，以近似图拉普拉斯矩阵的特征值和特征向量？
• RQ5 当图是低秩时（例如，具有许多连通分量），图拉普拉斯矩阵的估计特征值和特征向量的理论误差界是什么？

主要发现

• 在每列使用 m = O(kε⁻²(log(1/ε) + log(1/δ))) 次测量的情况下，压缩矩阵 Y 的奇异值 σ′ⱼ 以至少 1−δ 的概率满足 (1−ε)¹ᐟ² ≤ σ′ⱼ/σⱼ ≤ (1+ε)¹ᐟ²。
• 真实右奇异向量 vⱼ 与估计向量 v′ⱼ 之间的 ℓ² 误差被限制为 min{√2, (ε√(1+ε)/√(1−ε)) × maxᵢ≠ⱼ (√2σᵢσⱼ / min_{c∈[−1,1]} |σ²ᵢ − σ²ⱼ(1+cε)|)}
• 对于流式图数据，该方法以高概率近似图拉普拉斯矩阵 L_G 的特征值 λ′ⱼ，使得 1−ε ≤ λ′ⱼ/λⱼ ≤ 1+ε。
• L_G 的特征向量 v′ⱼ 的 ℓ² 误差被限制为 min{√2, (ε√(1+ε)/√(1−ε)) × maxᵢ≠ⱼ (√2λᵢ¹ᐟ²λⱼ¹ᐟ² / min_{c∈[−1,1]} |λᵢ − λⱼ(1+cε)|)}
• 该框架在低秩图（例如，具有许多连通分量的图）中特别有效，此时压缩大小 m 显著小于邻接矩阵的大小。
• 该方法支持在 turnstile 流式模型中高效、增量式更新，实现实时谱分析，且通信和存储开销极低。