[论文解读] TAPSpMV: Topology-Aware Parallel Sparse Matrix Vector Multiplication.

Amanda Bienz, William Gropp+1 more|arXiv (Cornell University)|Dec 23, 2016

Interconnection Networks and Systems被引用 3

一句话总结

TAPSpMV 提出了一种拓扑感知的并行稀疏矩阵-向量乘法（SpMV）方法，通过在每个节点上重新组织消息，将节点间通信转移到成本更低的节点内通信。通过最小化网络消息的数量和大小，它降低了通信开销，并在分布式内存系统上提升了性能。

ABSTRACT

This paper introduces a method to reduce communication that is injected into the network during a sparse matrix-vector multiply by reorganizing messages on each node. This results in a reduction of the inter-node communication, replaced by less-costly intra-node communication, which reduces both the number and size of messages that are injected into the network.

研究动机与目标

• 在分布式内存系统上减少并行稀疏矩阵-向量乘法（SpMV）中的节点间通信成本。
• 解决 SpMV 计算期间因高流量、高延迟网络通信导致的性能瓶颈。
• 通过重新组织消息以优先使用更低代价的节点内通信，提升可扩展性和效率。
• 利用节点级拓扑感知能力，优化消息注入网络的方式。

提出的方法

• 在每个计算节点上重新组织消息，以最小化发送到网络的消息数量和大小。
• 使用拓扑感知的数据布局，将可由更快的节点内通信处理的通信模式进行分组。
• 重构 SpMV 计算过程，使数据和操作尽可能靠近，以减少远程内存访问和网络流量。
• 应用消息聚合策略，将多个小消息合并为更少、更大的消息，以减少网络注入开销。
• 设计一种尊重底层网络拓扑的通信模式，以避免竞争并提高带宽利用率。
• 将重组织逻辑集成到 SpMV 内核中，以保持负载均衡和可扩展性。

实验结果

研究问题

• RQ1 如何减少并行 SpMV 中的节点间通信以提升性能？
• RQ2 节点级拓扑感知在最小化网络消息注入方面起到什么作用？
• RQ3 是否可以在不损害负载均衡的前提下，用节点内通信替代昂贵的节点间通信？
• RQ4 消息重组织如何影响 SpMV 中的整体通信量和延迟？
• RQ5 拓扑感知消息调度对实际稀疏矩阵的性能影响如何？

主要发现

• TAPSpMV 通过在每个节点上重新组织通信模式，减少了注入网络的消息数量。
• 该方法通过将流量从节点间通信转移到节点内通信，降低了总通信量。
• 通过最小化网络注入，TAPSpMV 在分布式系统上实现了更低的延迟和更好的可扩展性。
• 拓扑感知的重组织使得可用带宽得到更高效的利用，并减少了竞争。
• 该方法在显著降低 SpMV 工作负载通信开销的同时，保持了负载均衡。
• 在具有不规则稀疏模式、导致高通信量的矩阵中，性能提升最为显著。