[论文解读] Power and Energy-efficiency Roofline Model for GPUs

Millad Ghane, Jeff Larkin+3 more|arXiv (Cornell University)|Sep 24, 2018

Parallel Computing and Optimization Techniques参考文献 10被引用 6

一句话总结

本文将传统的roofline模型扩展至包含GPU核函数的功耗与能效，提出两种可视化模型——分别用于计算性能与内存性能，利用性能上限展示优化策略的权衡。核心贡献在于构建了一个统一框架，使开发者能够评估优化策略对性能与能效的影响，揭示GPU工作负载中功耗受限与计算受限的行为特征。

ABSTRACT

Energy consumption has been a great deal of concern in recent years and developers need to take energy-efficiency into account when they design algorithms. Their design needs to be energy-efficient and low-power while it tries to achieve attainable performance provided by underlying hardware. However, different optimization techniques have different effects on power and energy-efficiency and a visual model would assist in the selection process. In this paper, we extended the roofline model and provided a visual representation of optimization strategies for power consumption. Our model is composed of various ceilings regarding each strategy we included in our models. One roofline model for computational performance and one for memory performance is introduced. We assembled our models based on some optimization strategies for two widespread GPUs from NVIDIA: Geforce GTX 970 and Tesla K80.

研究动机与目标

• 为应对高性能计算中对能效算法设计日益增长的需求，将功耗与能效纳入性能建模。
• 将经典roofline模型扩展，将功耗与能效作为第一类度量指标，超越单纯的性能上限。
• 为开发者提供一个可视化框架，映射优化策略对其功耗与能效影响。
• 通过实际GPU架构（GTX 970与Tesla K80）展示性能、功耗与能效之间的权衡。
• 通过展示哪些优化能实现最佳能效而不牺牲性能，支持开发者做出明智的设计选择。

提出的方法

• 作者基于浮点运算（W）、内存操作（Q）及其各自能耗成本（ε_flop, ε_mem）推导出能耗的数学模型，得出功耗（P）与能效（EE）的方程。
• 提出两种roofline模型：一种通过计算性能（FLOP/s）关联功耗（P）与能效倒数（1/EE）；另一种通过内存带宽（BW）关联P与内存能效（E/Q）。
• 模型中的上限代表优化技术，如改进数据局部性、内存合并与计算优化，每种技术在特定功耗与能效约束下定义性能上限。
• 模型以峰值功耗（P_peak）作为上限，关系式为P = min{(E/W) × π, P_peak}（计算）与P = min{(E/Q) × BW, P_peak}（内存），建立功耗与能效的关联。
• 该方法在两块NVIDIA GPU（GTX 970与Tesla K80）上验证，利用实测性能与能耗数据构建可视化roofline图示。
• 该模型可直观识别核函数是否处于功耗受限或计算受限状态，并辅助选择能效最优的优化策略。

实验结果

研究问题

• RQ1 如何在一个统一建模框架中同时可视化功耗与能效，以及计算与内存性能？
• RQ2 哪些优化技术最显著地提升GPU核函数的能效，同时控制功耗？
• RQ3 不同优化策略如何影响GPU工作负载中性能、功耗与能效之间的权衡？
• RQ4 输入数据大小在多大程度上影响GPU核函数的能效与功耗？
• RQ5 统一的roofline模型能否有效指导开发者选择低功耗、高能效的优化策略？

主要发现

• 所提出的roofline模型成功可视化了功耗与能效之间的权衡，使开发者能够识别核函数是否处于功耗受限或计算受限状态。
• 优化技术如改进数据局部性与内存合并可使核函数从内存受限区域转向计算受限区域，从而提升能效。
• 模型揭示，尽管数据大小不影响能效（每焦耳浮点运算数），但会显著影响功耗，因操作负载增加。
• roofline模型中的上限线代表特定优化策略施加的性能限制，为算法调优提供清晰的视觉指引。
• 模型表明，峰值功耗（P_peak）是功耗的硬性上限，性能受计算或内存限制的制约，具体取决于操作强度。
• 通过整合性能、功耗与能效，该模型使开发者能够做出兼顾高性能与低能耗的明智决策。