[论文解读] Sparse Matrix Multiplication with Bandwidth Restricted All-to-All Communication.

Keren Censor-Hillel, Dean Leitersdorf+1 more|arXiv (Cornell University)|Feb 13, 2018

Complexity and Algorithms in Graphs参考文献 23被引用 3

一句话总结

本文提出了一种确定性、稀疏感知的算法，用于在带宽受限的全对全通信轮次中实现稀疏矩阵乘法的Congested Clique模型。通过重新组织矩阵元素，确保任务分配均衡且不连续，该方法降低了通信开销，并在非零元素数量为 o(n²) 的矩阵中实现了更优的轮次复杂度，即使仅一个矩阵稀疏，其性能也优于先前的工作。

ABSTRACT

We show how to multiply two $n imes n$ matrices over semirings in the Congested Clique model, where $n$ nodes synchronously communicate in an all-to-all manner using $O(\log n)$-bit messages, within a round complexity that depends on the number of non-zero elements in the input matrices. By leveraging the sparsity of the input matrices, our algorithm reduces communication costs and thus improves upon the state-of-the-art for matrices with $o(n^2)$ nonzero elements. Moreover, our algorithm exhibits the additional strength of surpassing previous solutions also in the case where only one of the two matrices is such. Particularly, this allows to efficiently raise a sparse matrix to a power greater than 2. As applications, we show how to speed up the computation on non-dense graphs of 3- and 4-cycle counting, as well as of all-pairs-shortest-paths. Our algorithmic contribution is a new deterministic method of restructuring the input matrices in a sparsity-aware manner, which assigns each node with element-wise multiplication tasks that are not necessarily consecutive but guarantee a balanced element distribution, providing for communication-efficient multiplication. As such, our technique may be useful in additional computational models.

研究动机与目标

• 在全对全通信受限于 O(log n) 位消息的Congested Clique模型中，降低稀疏矩阵乘法的通信开销。
• 通过以通信高效的方式利用稀疏性，改进非零元素数量为 o(n²) 的矩阵的轮次复杂度。
• 开发一种确定性方法，将非连续、均衡的乘法任务分配给节点，确保负载均衡并减少数据移动。
• 即使仅一个输入矩阵稀疏，也能高效计算大于2次的稀疏矩阵幂。
• 加速基础图算法，如非稠密图上的3-圈和4-圈计数以及全源最短路径计算。

提出的方法

• 该算法以稀疏感知方式重构输入矩阵，为每个节点分配一组非连续、均衡的逐元素乘法任务。
• 采用确定性数据分布策略，在确保节点间负载均衡的同时最小化通信量。
• 每个节点在其分配的矩阵元素上执行本地乘法，并仅通过 O(log n) 位消息传输必要的部分结果。
• 该方法支持非对称稀疏性，即在仅一个输入矩阵稀疏时仍表现良好。
• 该算法利用半环运算的结构，以最小化冗余计算和通信。
• 通过避免冗余数据传输，并确保每个非零元素恰好为每个节点贡献一次乘法任务，实现通信效率。

实验结果

研究问题

• RQ1 能否通过利用稀疏性和带宽限制，在Congested Clique模型中更高效地执行稀疏矩阵乘法？
• RQ2 非连续且均衡的任务分配在全对全模型中如何改善负载均衡并减少通信？
• RQ3 当仅一个输入矩阵稀疏时，所提方法是否优于现有算法？
• RQ4 该方法在多大程度上能加速如3-和4-圈计数及全源最短路径等图算法？
• RQ5 该方法能否推广到Congested Clique以外的其他计算模型？

主要发现

• 当输入矩阵的非零元素数量为 o(n²) 时，该算法在稀疏矩阵乘法中实现了更优的轮次复杂度，优于先前方法。
• 即使仅两个矩阵中的一个稀疏，该方法仍保持高效，支持高效计算大于2次的稀疏矩阵幂。
• 通过重构矩阵以将非连续、均衡的任务分配给节点，显著降低了通信开销。
• 通过利用稀疏矩阵运算，该方法加速了非稠密图上3-和4-圈计数以及全源最短路径的计算。
• 确定性、稀疏感知的数据分布确保了负载均衡，并在Congested Clique模型中最小化了冗余通信。