[论文解读] Optimal Principal Component Analysis in Distributed and Streaming Models

Christos Boutsidis, David P. Woodruff+1 more|arXiv (Cornell University)|Apr 25, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用 4

一句话总结

本文提出了主成分分析（PCA）在分布式和流式计算环境下的最优通信与空间高效算法。通过利用稀疏性，该工作在分布式模型中实现了近乎最优的通信界，并提供了空间高效、单次遍历的流式算法，具有紧密的理论保证，解决了高精度PCA在通信复杂度与空间界限方面的开放性问题。

ABSTRACT

We study the Principal Component Analysis (PCA) problem in the distributed and streaming models of computation. Given a matrix $A \in R^{m imes n},$ a rank parameter $k < rank(A)$, and an accuracy parameter $0 < ε< 1$, we want to output an $m imes k$ orthonormal matrix $U$ for which $$ || A - U U^T A ||_F^2 \le \left(1 + ε ight) \cdot || A - A_k||_F^2, $$ where $A_k \in R^{m imes n}$ is the best rank-$k$ approximation to $A$. This paper provides improved algorithms for distributed PCA and streaming PCA.

研究动机与目标

• 通过最小化机器之间的数据传输，在分布式PCA中缓解通信瓶颈，同时保持高精度的低秩逼近。
• 解决在任意划分模型中高精度PCA最优通信复杂度的开放性问题。
• 设计空间高效的流式PCA算法，实现最小内存使用，尤其适用于流式处理中的流式与列到达模型。
• 在稀疏性约束下，建立分布式列子集选择的紧致通信下界。
• 提供同时输出低秩逼近与跨越解空间的列子集的协议，支持高效下游应用。

提出的方法

• 在任意划分模型中提出一种通信最优的协议，通信量为 O(skm) + poly(sk/ε) 个词，通过将 ε 的依赖与 m 分离，优于先前的 O(skm/ε) 通信界。
• 在列划分模型中引入一种稀疏列式协议，通过利用每列的稀疏度 φ，实现 O(skφ/ε) + poly(sk/ε) 个词的通信量，且与矩阵维度无关。
• 设计一种两遍流式算法，使用 O(km) + poly(k/ε) 个词的空间，几乎匹配已知的 Ω(km/ε) 位下界。
• 将算法适配至流式处理中的流式更新模型，使用 O((m+n)kε⁻¹) 个词的空间，优于先前的 O((m+n)ε⁻²kε⁻²) 通信界，并匹配已知的下界。
• 利用信息论论证与条件熵，通过将难题映射至具有有界元素的矩阵硬分布，证明通信下界。
• 利用稀疏矩阵与列子集选择的结构，确保每台机器输出一组 O(k/ε) 列，覆盖解空间。

实验结果

研究问题

• RQ1 在任意划分模型中，分布式PCA的最优通信复杂度是多少？是否可以在 ε 项中避免对 m 的依赖？
• RQ2 当列具有稀疏性时，在列划分模型中能否使通信量独立于矩阵维度？
• RQ3 对于具有常数遍历次数的流式PCA，最优空间复杂度是多少？是否能以最小空间实现？
• RQ4 在稀疏性 φ 和精度 ε 下，分布式列子集选择的通信复杂度如何变化？
• RQ5 能否设计出不依赖输入矩阵条件数的空间高效流式算法，适用于流式更新数据流？

主要发现

• 本文建立了在任意划分模型中分布式PCA的 Ω(skm) 通信下界，与所提协议的通信成本仅在低阶项上存在差异。
• 对于每列具有 φ 个非零元素的稀疏矩阵，协议实现 O(skφ/ε) + poly(sk/ε) 个词的通信量，该结果最优且与 m 和 n 无关。
• 两遍流式算法使用 O(km) + poly(k/ε) 个词的空间，几乎匹配已知的 Ω(km/ε) 位下界，因此在 poly(k/ε) 因子内为最优空间复杂度。
• 在流式更新数据流中，算法使用 O((m+n)kε⁻¹) 个词的空间，优于先前的 O((m+n)ε⁻²kε⁻²) 通信界，并匹配已知的 Ω((m+n)kε⁻¹) 下界。
• 分布式列子集选择的通信下界为 Ω(sφk log(mn)/ε) 位，按标准字长换算为 Ω(sφk/ε) 个词，该下界是紧致的。
• 所提协议不依赖于输入矩阵的条件数，因此在广泛的数据分布下均具有鲁棒性。