[论文解读] UVMBench: A Comprehensive Benchmark Suite for Researching Unified Virtual Memory in GPUs

Yongbin Gu, Wenxuan Wu+2 more|arXiv (Cornell University)|Jul 20, 2020

Parallel Computing and Optimization Techniques参考文献 19被引用 8

一句话总结

本文提出了UVMBench，一个包含32种多样化GPU应用的综合性基准测试套件，旨在评估统一虚拟内存（UVM）在不同内存访问模式下的性能表现。该套件可系统性地分析UVM的开销，揭示了在内存超分配情况下由于页抖动和低效的驱逐策略导致的显著性能下降，凸显了对UVM感知优化技术的迫切需求。

ABSTRACT

The recent introduction of Unified Virtual Memory (UVM) in GPUs offers a new programming model that allows GPUs and CPUs to share the same virtual memory space, which shifts the complex memory management from programmers to GPU driver/ hardware and enables kernel execution even when memory is oversubscribed. Meanwhile, UVM may also incur considerable performance overhead due to tracking and data migration along with special handling of page faults and page table walk. As UVM is attracting significant attention from the research community to develop innovative solutions to these problems, in this paper, we propose a comprehensive UVM benchmark suite named UVMBench to facilitate future research on this important topic. The proposed UVMBench consists of 32 representative benchmarks from a wide range of application domains. The suite also features unified programming implementation and diverse memory access patterns across benchmarks, thus allowing thorough evaluation and comparison with current state-of-the-art. A set of experiments have been conducted on real GPUs to verify and analyze the benchmark suite behaviors under various scenarios.

研究动机与目标

• 为评估GPU中统一虚拟内存（UVM）的性能，解决缺乏标准化、具有代表性基准测试的问题。
• 实现对不同应用领域和内存访问模式下UVM优化技术的全面、可比性评估。
• 识别当前UVM系统在内存超分配情况下的性能瓶颈。
• 通过提供一个统一、可投入生产的基准测试套件及其一致实现，为未来研究提供指导。
• 分析硬件预取器和内存访问模式对UVM中PCIe带宽利用率的影响。

提出的方法

• 作者从多个领域（包括机器学习、线性代数、图算法和物理模拟）中选取了32个具有代表性的GPU内核作为基准。
• 所有基准测试均采用统一的编程接口实现，以确保评估和比较的一致性。
• 该套件涵盖了不同内核配置和线程块下的多种内存访问模式——包括流式访问、随机访问和重用密集型访问。
• 实验在真实GPU上进行，用于测量有效PCIe带宽、内存访问延迟以及在内存超分配条件下的性能表现。
• 通过使用cudaMalloc将可用GPU内存减少至所需内存占用量的110%和125%，模拟内存超分配情况。
• 研究分析了页故障频率、数据迁移量，以及硬件预取器在塑造UVM性能方面的作用。

实验结果

研究问题

• RQ1 不同的内存访问模式如何影响UVM性能和PCIe带宽利用率？
• RQ2 内存超分配对UVM内核执行性能有何影响？
• RQ3 为何某些基准测试在UVM下遭受严重性能下降，而另一些仅出现中等程度的性能下降？
• RQ4 当前硬件预取器在缓解UVM性能开销方面的有效性如何？
• RQ5 现有驱逐策略在多大程度上导致了UVM中的页抖动？

主要发现

• 在内存超分配条件下，许多基准测试因页驱逐期间的内核阻塞而出现2至3倍的性能下降，尤其在流式访问模式下更为明显。
• 部分基准测试因严重的页抖动导致性能下降超过100倍，尤其在数据重用距离较短时更为显著。
• UVM中的有效PCIe带宽在不同基准测试间差异显著，部分基准测试实现了高带宽利用率，而另一些则因数据迁移量过小而利用率低下。
• 现代GPU中的硬件预取器在利用PCIe带宽方面并未完全发挥效能，表明需要开发UVM感知的预取技术。
• 当前的LRU驱逐策略在重用密集型工作负载中表现不佳，因其频繁且不必要的页迁移导致性能下降。
• 缺乏标准化基准测试阻碍了对UVM优化技术的公平比较，凸显了像UVMBench这样统一评估套件的必要性。