[论文解读] Parallel MMF: a Multiresolution Approach to Matrix Computation

Risi Kondor, Nedelina Teneva+1 more|arXiv (Cornell University)|Jul 15, 2015

Sparse and Compressive Sensing Techniques参考文献 18被引用 7

一句话总结

该论文提出 pMMF，一种并行多分辨率矩阵分解算法，通过递归地将数据划分为分层聚类、应用稀疏正交旋转（如 Givens 或 k 点旋转），并在每一层压缩子矩阵，高效计算矩阵分解。该方法在稀疏矩阵上实现与矩阵规模线性增长的计算效率，并支持大规模线性系统的高性能矩阵压缩与预条件处理。

ABSTRACT

Multiresolution Matrix Factorization (MMF) was recently introduced as a method for finding multiscale structure and defining wavelets on graphs/matrices. In this paper we derive pMMF, a parallel algorithm for computing the MMF factorization. Empirically, the running time of pMMF scales linearly in the dimension for sparse matrices. We argue that this makes pMMF a valuable new computational primitive in its own right, and present experiments on using pMMF for two distinct purposes: compressing matrices and preconditioning large sparse linear systems.

研究动机与目标

• 通过引入一种并行、多分辨率方法，解决机器学习中大规模稀疏矩阵计算的可扩展性挑战。
• 克服传统数据并行与参数并行方法的局限性，这些方法无法捕捉复杂的参数交互作用，或需要中心化协调。
• 开发一种可扩展的计算原语，揭示矩阵中的多尺度结构，同时最小化处理单元之间的通信。
• 展示 pMMF 在两个关键任务中的实用性：矩阵压缩与大规模稀疏线性系统的预条件处理。

提出的方法

• pMMF 使用分层聚类策略递归地将矩阵划分为嵌套的聚类，形成多分辨率层次结构。
• 在每一层，对活动子矩阵应用稀疏正交旋转（Givens 或 k 点旋转），以解耦高频分量。
• 通过更新 Gram 矩阵并在各聚类间并行应用旋转，算法在每一层维护矩阵的压缩草图。
• 在最粗粒度层级保留一个稠密核心矩阵 $ H $，该矩阵为 S_L-core-diagonal，从而实现高效计算与存储。
• 通过在聚类上本地操作，并仅在每一层重新分配压缩草图，最小化处理单元之间的通信。
• 因子分解结构为 $ A \approx Q_1^\top \cdots Q_L^\top H Q_L \cdots Q_1 $，其中正交矩阵 $ Q_\ell $ 作用于逐渐缩小的活动集合 $ S_\ell $。

实验结果

研究问题

• RQ1 多分辨率矩阵分解方法能否被有效并行化，从而实现与矩阵规模线性增长的可扩展性？
• RQ2 pMMF 在加速共轭梯度求解器方面是否优于传统的不完全 Cholesky 和 SSOR 预条件器？
• RQ3 与低秩方法相比，pMMF 在真实世界数据上能否实现更优的矩阵压缩效果，且近似误差更低？
• RQ4 在实际应用中，pMMF 的性能如何依赖于聚类选择、旋转顺序与压缩策略？
• RQ5 pMMF 能否作为通用计算原语，用于机器学习中的矩阵求逆、压缩与大规模线性系统的求解？

主要发现

• 对于稀疏矩阵，pMMF 的运行时间与矩阵维度呈线性关系，使其在大规模问题中极为高效。
• 在压缩实验中，pMMF 的矩阵近似误差显著低于低秩方法，表明其对多尺度数据结构的保真度更高。
• pMMF 预条件处理可加速共轭梯度求解器，每轮迭代时间比其他预条件器快 2 至 10 倍，且收敛时间具有竞争力或更优。
• 在 8 核 2.6 GHz 机器上，计算 pMMF 预条件器的时间不到一分钟，该开销可在多次线性求解中分摊。
• 在多个测试案例中，pMMF 在网络矩阵与核矩阵上的表现优于标准预条件器，展现出对不同类型问题的鲁棒性。
• 该算法的复杂度为 $ O(pc^3) $，其中 $ p $ 为层级数，$ m $ 为每层聚类数，$ c $ 为聚类大小，实现 $ N_{\text{proc}} $ 倍并行性。