[论文解读] Performance Evaluation of Sparse Matrix Multiplication Kernels on

Érik Saule, Kamer Kaya+1 more|arXiv (Cornell University)|Jan 1, 2013

Parallel Computing and Optimization Techniques参考文献 13被引用 2

一句话总结

本文评估了英特尔至强融核（Intel Xeon Phi）在稀疏矩阵-向量乘法（SpMV）上的性能表现，该处理器具备高核心数和512位SIMD单元。尽管内存带宽很高，但内存延迟限制了SpMV的性能表现，然而由于其可扩展的核心架构和高效的线程级并行性，Xeon Phi在性能上仍优于通用CPU和GPU。

ABSTRACT

Intel Xeon Phi is a recently released high-performance coprocessor which features 61 cores each sup- porting 4 hardware threads with 512-bit wide SIMD registers achieving a peak theoretical performance of 1Top/s in double precision. Many scientic applications involve operations on large sparse matrices such as linear solvers, eigensolver, and graph mining algorithms. The core of most of these applications involves the multiplication of a large, sparse matrix with a dense vector (SpMV). In this paper, we investigate the performance of the Xeon Phi coprocessor for SpMV. We rst provide a comprehensive introduction to this new architecture and analyze its peak performance with a number of micro bench- marks. Although the design of a Xeon Phi core is not much dierent than those of the cores in modern processors, its large number of cores and hyperthreading capability allow many application to saturate the available memory bandwidth, which is not the case for many cutting-edge processors. Yet, our per- formance studies show that it is the memory latency not the bandwidth which creates a bottleneck for SpMV on this architecture. Finally, our experiments show that Xeon Phi's sparse kernel performance is very promising and even better than that of cutting-edge general purpose processors and GPUs.

研究动机与目标

• 评估英特尔至强融核在稀疏矩阵-向量乘法（SpMV）上的性能表现，SpMV是科学计算中的关键内核。
• 分析Xeon Phi的高核心数和宽SIMD单元是否能够克服SpMV工作负载中的内存带宽限制。
• 识别SpMV在Xeon Phi架构上的主要性能瓶颈——是内存带宽还是内存延迟？
• 将Xeon Phi的SpMV性能与最先进的通用CPU和GPU进行比较。

提出的方法

• 通过微基准测试对Xeon Phi架构的峰值性能和内存带宽进行表征。
• 在Xeon Phi协处理器上实现并评估标准SpMV内核，使用具有代表性的稀疏矩阵和稠密向量工作负载。
• 通过测量不同稀疏矩阵格式和访问模式下的性能，隔离内存延迟的影响。
• 利用线程级并行性和超线程技术，饱和利用可用内存带宽，并评估可扩展性。
• 在相同SpMV工作负载下，将Xeon Phi的性能指标（GFLOPS）与最先进的CPU和GPU进行对比。
• 分析512位SIMD单元和核心数量在提升算术强度和内存吞吐量方面的作用。

实验结果

研究问题

• RQ1 Xeon Phi的高核心数和宽SIMD单元是否能够使其在SpMV性能上优于传统处理器？
• RQ2 在Xeon Phi上，SpMV的瓶颈主要是内存带宽，还是内存延迟？
• RQ3 Xeon Phi的SpMV内核性能与领先通用CPU和GPU相比如何？
• RQ4 超线程和线程级并行性在多大程度上能够饱和Xeon Phi在SpMV工作负载中的内存带宽？

主要发现

• 尽管在双精度下实现了1 TFLOP/s的理论峰值性能，Xeon Phi的SpMV性能仍受内存延迟限制，而非内存带宽。
• Xeon Phi上庞大的核心数量和超线程能力使应用程序能够饱和利用可用内存带宽，而这一能力在许多现代通用处理器上并未能稳定实现。
• Xeon Phi在SpMV工作负载中优于最先进的通用CPU和GPU，展现出在稀疏核计算中的卓越性能。
• Xeon Phi的性能优势归因于其可扩展的线程级并行性，以及高效利用512位SIMD单元处理稀疏矩阵典型不规则内存访问模式的能力。
• 微基准测试结果证实，内存延迟而非带宽是Xeon Phi架构上SpMV的主要性能瓶颈。
• 结果表明，Xeon Phi特别适用于依赖稀疏矩阵运算的科学计算应用，如线性求解器和图挖掘算法。