[论文解读] On Symmetric Rectilinear Matrix Partitioning

Abdurrahman Yaşar, Muhammed Fati̇h Balin+3 more|arXiv (Cornell University)|Sep 16, 2020

Interconnection Networks and Systems参考文献 27被引用 5

一句话总结

本文提出了四种启发式算法用于对称矩形矩阵划分，该问题可确保在稀疏矩阵并行分发中实现负载均衡且为方形对角块的划分。通过利用稀疏化和稀疏前缀和数据结构，该方法在大型图（如Twitter）上实现了小于3秒的运行时间（24核系统），且负载不平衡低于1%，在80%的测试实例中表现出高效率和近似最优性。

ABSTRACT

Even distribution of irregular workload to processing units is crucial for efficient parallelization in many applications. In this work, we are concerned with a spatial partitioning called rectilinear partitioning (also known as generalized block distribution) of sparse matrices. More specifically, in this work, we address the problem of symmetric rectilinear partitioning of a square matrix. By symmetric, we mean the rows and columns of the matrix are identically partitioned yielding a tiling where the diagonal tiles (blocks) will be squares. We first show that the optimal solution to this problem is NP-hard, and we propose four heuristics to solve two different variants of this problem. We present a thorough analysis of the computational complexities of those proposed heuristics. To make the proposed techniques more applicable in real life application scenarios, we further reduce their computational complexities by utilizing effective sparsification strategies together with an efficient sparse prefix-sum data structure. We experimentally show the proposed algorithms are efficient and effective on more than six hundred test matrices. With sparsification, our methods take less than 3 seconds in the Twitter graph on a modern 24 core system and output a solution whose load imbalance is no worse than 1%.

研究动机与目标

• 为解决并行稀疏矩阵计算中不规则工作负载的平衡问题，特别是对称方阵中的问题。
• 开发高效的划分技术，在保持对称分块（方形对角块）的同时最小化负载不平衡和通信开销。
• 通过稀疏化和优化数据结构降低划分算法的计算复杂度，以实现真实场景下的可扩展性。
• 在多样化的稀疏矩阵工作负载（包括大规模图）上评估所提启发式方法的性能和负载均衡性。
• 开源实现代码，以促进高性能计算领域更广泛的应用和未来研究。

提出的方法

• 提出四种启发式方法——PaL、BaL（RaC）、BaL（Uni）和RaC，用于对称矩形划分，针对两种变体：最小化不平衡（mLI）和最小化通信（mNC）。
• 采用稀疏前缀和数据结构，高效计算累计行和列权重，实现在划分过程中快速负载估计。
• 应用稀疏化策略，通过过滤低权重行/列来减小输入规模，显著降低计算成本，同时不损害解的质量。
• 采用探测式方法（PaL）和优化式方法（BaL）迭代调整划分边界，以满足目标负载均衡。
• 通过RaC启发式方法将二维划分问题简化为一维切割，以牺牲部分精度换取速度提升。
• 将所有组件整合为一个流水线，包括稀疏化、前缀和构建和划分过程，性能在600多个真实矩阵上进行测量。

实验结果

研究问题

• RQ1 对称矩形划分问题是否为NP难问题？其最优解的计算极限是什么？
• RQ2 在多样化稀疏矩阵工作负载下，不同启发式策略（PaL、BaL、RaC）在负载不平衡和执行时间上的表现如何比较？
• RQ3 稀疏化在多大程度上提升了划分算法的运行时间，同时不降低解的质量？
• RQ4 所提算法在实现真实世界矩阵（特别是大规模图）的近似最优负载均衡方面有多有效？
• RQ5 稀疏前缀和数据结构对划分流水线整体效率的影响如何？

主要发现

• 证明了对称矩形划分问题是NP难的，确立了其最优解在计算上的不可行性。
• 在mNC问题上，PaL启发式方法因计算复杂度更低，在执行时间上优于其他方法，尤其在目标块尺寸较大时表现更优。
• 结合稀疏化和稀疏前缀和结构，算法在Twitter图（24核系统）上实现小于3秒的运行时间，且负载不平衡低于1%。
• 在375个小型测试矩阵上，所提算法在80%的情况下达到近乎最优解，展现出优异的解质量。
• RaC启发式方法因采用一维简化，执行速度最快，但相比PaL略逊于精度。
• 稀疏化显著降低了大图的运行时间，但在小图上因预处理开销的增加，净收益较小。