[论文解读] Warp-Level Parallelism: Enabling Multiple Replications In Parallel on GPU

Jonathan Passerat‐Palmbach, Jonathan Caux+3 more|arXiv (Cornell University)|Jan 7, 2015

Parallel Computing and Optimization Techniques参考文献 2被引用 4

一句话总结

本文提出了一种基于CUDA的Warp-Level Parallelism（WLP）方法，将每个随机模拟复制分配给一个独立的GPU warp，避免分支发散并最大化GPU占用率。通过利用warp级别的独立性，WLP在GPU上的SIMT执行方式下实现了最高6倍的加速，显著提升了随机模拟中多个复制并行执行的效率。

ABSTRACT

Stochastic simulations need multiple replications in order to build confidence intervals for their results. Even if we do not need a large amount of replications, it is a good practice to speed-up the whole simulation time using the Multiple Replications In Parallel (MRIP) approach. This approach usually supposes to have access to a parallel computer such as a symmetric mul-tiprocessing machine (with many cores), a computing cluster or a computing grid. In this paper, we propose Warp-Level Parallelism (WLP), a GP-GPU-enabled solution to compute MRIP on GP-GPUs (General-Purpose Graphics Processing Units). These devices display a great amount of parallel computational power at low cost, but are tuned to process efficiently the same operation on several data, through different threads. Indeed, this paradigm is called Single Instruction, Multiple Threads (SIMT). Our approach proposes to rely on small threads groups, called warps, to perform independent computations such as replications. We have benchmarked WLP with three different models: it allows MRIP to be computed up to six times faster than with the SIMT computing paradigm.

研究动机与目标

• 解决由于在CPU上执行多个复制时速度缓慢而导致的随机模拟性能瓶颈。
• 克服传统SIMT执行在GPU上存在的局限性，特别是不同执行路径中的分支发散问题。
• 通过将GPU warp作为独立计算单元，实现多个独立复制的高效、高吞吐量执行。
• 证明WLP在随机模拟中显著优于基于CPU和SIMT的GPU实现。
• 为将MRIP集成到GPU加速的模拟工作负载中，提供一种低开销、高层级的抽象接口。

提出的方法

• 将每个模拟复制映射到一个独立的GPU warp，确保独立执行并避免warp内部的分支发散。
• 通过运行时计算的warp标识符来确定每个warp执行哪个复制。
• 通过高层级CUDA宏实现WLP，以抽象底层线程管理并提高代码可移植性。
• 设计模拟内核，使每个warp独立地在不同的随机数流上运行相同的算法。
• 通过每warp优化的数据访问模式，最小化全局内存访问，减少冗余读写。
• 利用Fermi GPU架构改进的缓存和内存层次结构，提升性能，且无需修改代码。

实验结果

研究问题

• RQ1 GPU warp能否有效用于执行独立的模拟复制，而不会遭受分支发散的影响？
• RQ2 在随机模拟的多个复制中，WLP与传统的SIMT执行方式相比性能如何？
• RQ3 与SIMT方法相比，WLP在多大程度上降低了全局内存访问开销？
• RQ4 对于合理数量的复制（≥30），WLP能否在CPU和SIMT GPU执行方式上实现显著加速？
• RQ5 随着模型复杂度和GPU设备内存消耗的增加，WLP的可扩展性如何？

主要发现

• 在相同的GPU硬件上，WLP在随机模拟的多个复制中相比传统SIMT执行方式最高实现了6倍的加速。
• 与SIMT相比，WLP的全局内存访问时间与计算时间之比降低了2.5倍，表明内存效率更高。
• 在随机游走模型中，WLP将全局内存读取从225次减少到18次，写入从302次减少到104次，显著降低了内存带宽压力。
• 当计算超过30次复制时，WLP的性能优于最先进的CPU至少两倍，满足中心极限定理对置信区间的要求。
• 通过独立warp调度提高占用率，该方法有效缓解了GPU利用率不足的问题。
• 随着未来CUDA架构的发展，特别是新型GPU中内存子系统的增强，性能提升有望进一步扩大。