[论文解读] Sketching Sparse Matrices

Gautam Dasarathy, Parikshit Shah+2 more|arXiv (Cornell University)|Mar 26, 2013

Sparse and Compressive Sensing Techniques参考文献 42被引用 23

一句话总结

该论文提出了一种新颖的草图框架，通过ℓ₁最小化实现凸优化，用于恢复分布式稀疏矩阵——即非零元素在行和列上广泛分布的矩阵。研究表明，在高概率下，若非零元素未集中于任何行或列，则仅需 m = O(√(非零元素数量) × log p) 个测量值，即可从草图 Y = AXBᵀ 中精确恢复未知的 p×p 矩阵，该矩阵包含 O(p) 个非零元素。

ABSTRACT

This paper considers the problem of recovering an unknown sparse p imes p matrix X from an m imes m matrix Y=AXB^T, where A and B are known m imes p matrices with m << p. The main result shows that there exist constructions of the "sketching" matrices A and B so that even if X has O(p) non-zeros, it can be recovered exactly and efficiently using a convex program as long as these non-zeros are not concentrated in any single row/column of X. Furthermore, it suffices for the size of Y (the sketch dimension) to scale as m = O(\sqrt{# nonzeros in X} imes log p). The results also show that the recovery is robust and stable in the sense that if X is equal to a sparse matrix plus a perturbation, then the convex program we propose produces an approximation with accuracy proportional to the size of the perturbation. Unlike traditional results on sparse recovery, where the sensing matrix produces independent measurements, our sensing operator is highly constrained (it assumes a tensor product structure). Therefore, proving recovery guarantees require non-standard techniques. Indeed our approach relies on a novel result concerning tensor products of bipartite graphs, which may be of independent interest. This problem is motivated by the following application, among others. Consider a p imes n data matrix D, consisting of n observations of p variables. Assume that the correlation matrix X:=DD^{T} is (approximately) sparse in the sense that each of the p variables is significantly correlated with only a few others. Our results show that these significant correlations can be detected even if we have access to only a sketch of the data S=AD with A \in R^{m imes p}.

研究动机与目标

• 解决当仅能获得压缩草图 Y = AXBᵀ（其中 m ≪ p）时，恢复高维稀疏矩阵的挑战。
• 通过处理具有张量积结构的高阶结构化感知算子，克服传统压缩感知的局限性。
• 开发一种即使在感知矩阵 A 和 B 受限于小规模和稀疏性时也有效的恢复方法。
• 在非零元素在行和列上广泛分布的分布式稀疏性条件下，建立精确和鲁棒恢复的理论保证。
• 提供一种可应用于实际问题（如协方差估计、多维信号处理和网络发现）的框架。

提出的方法

• 利用张量积结构 Y = AXBᵀ 将 p×p 矩阵 X 压缩为 m×m 的草图 Y，其中 m ≪ p。
• 将矩阵恢复问题表述为ℓ₁最小化问题：在约束 Y = AXBᵀ 下最小化 ‖X‖₁。
• 利用关于随机二分图张量积的新图论引理，证明恢复保证。
• 应用适用于结构化感知算子 A⊗B 的受限等距型论证，利用邻居扩张特性。
• 通过向量化和子矩阵投影技术，界定恢复误差中残差分量的ℓ₁范数。
• 建立 A 和 B 的条件（特别是具有适当稀疏性的随机二值矩阵），以确保稳定且精确的恢复。

实验结果

研究问题

• RQ1 当感知算子具有张量积结构时，是否可以使用凸优化从压缩草图 Y = AXBᵀ 中恢复分布式稀疏矩阵？
• RQ2 对于具有 O(p) 个非零元素的分布式稀疏矩阵，实现精确恢复所需的最小草图维度 m 是多少？
• RQ3 恢复性能如何依赖于稀疏性分布，特别是当非零元素集中在少数行或列时？
• RQ4 恢复对加性扰动是否鲁棒，且近似误差是否可按扰动大小成比例地有界？
• RQ5 理论保证能否扩展至实际估计任务中的加性高斯噪声或Wishart噪声等噪声环境？

主要发现

• 在高概率下，仅需 m = O(√(X 中非零元素数量) × log p) 个草图测量值，即可精确恢复具有 O(p) 个非零元素的分布式稀疏矩阵 X。
• 恢复具有鲁棒性：若 X 为稀疏矩阵加扰动，则ℓ₁最小化产生的估计其误差与扰动的ℓ₁范数成比例。
• 当 X 中的非零元素未集中于任何单一行或列时，该方法有效，确保了矩阵中非零元素的充分分散。
• 理论保证依赖于关于随机二分图张量积扩张性质的新结果，该结果确保感知算子满足类似受限等距的条件。
• 在 A 和 B 的适当随机构造下，恢复概率超过 1 − p⁻ᶜ（c > 0），可保证成功。
• 该框架可应用于实际问题，如协方差草图、多维信号处理以及从压缩数据中进行网络发现。