[论文解读] Simple and Deterministic Matrix Sketching

Edo Liberty|arXiv (Cornell University)|Jun 4, 2012

Stochastic Gradient Optimization Techniques参考文献 11被引用 7

一句话总结

本文提出Frequent-Directions，一种确定性、流式矩阵压缩算法，通过逐行处理矩阵，维护一个大小为 $ B ∈ ℝ^{1/\varepsilon \times m} $ 的压缩矩阵，使得对任一单位向量 $ x $，$ Ax $ 与 $ Bx $ 的平方范数之差不超过 $ \varepsilon \|A\|_F^2 $。该方法通过自适应地从压缩矩阵中移除正交向量来实现，其机制类似于Frequent-Items算法，在准确度上优于随机化方法，同时运行时间具有竞争力。

ABSTRACT

We adapt a well known streaming algorithm for approximating item frequencies to the matrix sketching setting. The algorithm receives the rows of a large matrix $A \in \R^{n imes m}$ one after the other in a streaming fashion. It maintains a sketch matrix $B \in \R^ {1/\eps imes m}$ such that for any unit vector $x$ [\|Ax\|^2 \ge \|Bx\|^2 \ge \|Ax\|^2 - \eps \|A\|_{f}^2 \.] Sketch updates per row in $A$ require $O(m/\eps^2)$ operations in the worst case. A slight modification of the algorithm allows for an amortized update time of $O(m/\eps)$ operations per row. The presented algorithm stands out in that it is: deterministic, simple to implement, and elementary to prove. It also experimentally produces more accurate sketches than widely used approaches while still being computationally competitive.

研究动机与目标

• 开发一种适用于大规模流式数据的简单、确定性矩阵压缩算法。
• 在所有单位向量 $ x $ 上，实现对 $ \|Ax\|^2 $ 的近似中相对误差保证 $ \varepsilon \|A\|_F^2 $。
• 在保证理论正确性和实际准确度的前提下，保持每行更新的计算成本较低。
• 提供一种易于实现且可证明正确的算法，与复杂的随机化或迭代方法形成对比。

提出的方法

• 将流式频率估计中的Frequent-Items算法推广至矩阵压缩，将矩阵行视为流式元素。
• 维护一个大小为 $ B \in \mathbb{R}^{1/\varepsilon \times m} $ 的压缩矩阵，用于存储输入矩阵 $ A $ 的压缩表示。
• 使用一种修剪过程，定期从压缩矩阵中移除 $ 1/\varepsilon $ 个正交向量，以控制误差增长。
• 通过确定性删除机制，确保对所有单位向量 $ x $，$ \|Ax\|^2 $ 的误差被限制在 $ \varepsilon \|A\|_F^2 $ 以内。
• 每行的最坏情况更新时间为 $ O(m/\varepsilon^2) $，通过改进变体可实现均摊优化至 $ O(m/\varepsilon) $。
• 该压缩矩阵在允许较小加法误差的前提下，保留了矩阵Gramian $ A^T A $ 的Frobenius范数，从而保证低秩逼近质量。

实验结果

研究问题

• RQ1 能否设计一种确定性、流式矩阵压缩算法，其准确度可与随机化方法相媲美甚至超越？
• RQ2 Frequent-Items算法中的项目频率估计技术如何推广至矩阵压缩场景？
• RQ3 在流式矩阵压缩中，计算效率与近似准确度之间的权衡是什么？
• RQ4 能否通过一种简单、基础的算法实现具有竞争力的性能，而无需依赖复杂的随机投影或采样？

主要发现

• Frequent-Directions 对所有单位向量 $ x $ 在 $ \|Ax\|^2 $ 上实现了 $ \varepsilon \|A\|_F^2 $ 的相对误差界，且压缩矩阵大小为 $ 1/\varepsilon \times m $。
• 在所有测试的压缩矩阵大小和信噪比下，该算法在准确度上均优于三种随机化方法（随机投影、哈希和采样）。
• 当压缩矩阵大小 $ \ell = 150 $ 时，Frequent-Directions 达到最佳准确度，与信号维度 $ d = 50 $ 和参数 $ c = 1/3 $ 一致。
• 该方法在运行时间上对压缩矩阵大小 $ \ell $ 呈线性依赖，每行的均摊更新成本为 $ O(m/\varepsilon) $。
• 尽管采用确定性更新，Frequent-Directions 在运行时间上表现具有竞争力，且在准确度上显著优于随机化替代方案。
• Frequent-Directions 的理论最坏情况误差界始终比随机化方法的实测性能更紧致，尽管该界在压缩矩阵较大时并非特别紧致。