[论文解读] The Impact of GPU DVFS on the Energy and Performance of Deep Learning: an Empirical Study

Zhenheng Tang, Yuxin Wang+2 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 45被引用 5

一句话总结

本实证研究探究了GPU动态电压频率调节（DVFS）在深度学习工作负载中优化能效的潜力。通过测试多种GPU架构、DNN配置及卷积算法，作者识别出可将训练期间能耗降低最多23.1%、推理期间降低26.4%的最优核心频率，且不损失性能。

ABSTRACT

Over the past years, great progress has been made in improving the computing power of general-purpose graphics processing units (GPGPUs), which facilitates the prosperity of deep neural networks (DNNs) in multiple fields like computer vision and natural language processing. A typical DNN training process repeatedly updates tens of millions of parameters, which not only requires huge computing resources but also consumes significant energy. In order to train DNNs in a more energy-efficient way, we empirically investigate the impact of GPU Dynamic Voltage and Frequency Scaling (DVFS) on the energy consumption and performance of deep learning. Our experiments cover a wide range of GPU architectures, DVFS settings, and DNN configurations. We observe that, compared to the default core frequency settings of three tested GPUs, the optimal core frequency can help conserve 8.7%$\sim$23.1% energy consumption for different DNN training cases. Regarding the inference, the benefits vary from 19.6%$\sim$26.4%. Our findings suggest that GPU DVFS has great potentials to help develop energy efficient DNN training/inference schemes.

研究动机与目标

• 探究GPU DVFS对深度学习工作负载中能耗与性能的影响。
• 识别在不同GPU架构下平衡性能与能效的最优核心频率设置。
• 评估不同DNN配置及卷积算法（GEMM、FFT、Winograd）对DVFS调节的响应情况。
• 探究在现代GPU中内存频率调节是否显著影响能效。
• 为设计基于DVFS的能效感知DNN训练与推理系统提供实证依据。

提出的方法

• 在三种GPU架构（Pascal P100、Volta V100、Turing GTX 2080Ti）上开展广泛实验。
• 在不同核心频率与内存频率设置下，测量性能、功耗与能耗。
• 在不同框架上评估多种DNN模型（如AlexNet、ResNet）及卷积算法（GEMM、FFT、Winograd）。
• 使用cuDNN与TensorRT优化内核，确保在生产级DNN工作负载中实现真实性能测量。
• 分析能耗曲线，识别出在保持高性能的同时最小化能耗的“最佳频率点”。
• 将结果与默认GPU频率设置进行对比，量化能耗节省与性能提升。

实验结果

研究问题

• RQ1 调节GPU核心频率如何影响DNN训练与推理的性能与能耗？
• RQ2 默认GPU频率设置是否为DNN工作负载提供了最优能效？
• RQ3 不同卷积算法（GEMM、FFT、Winograd）在DVFS调节下能效节省表现如何？
• RQ4 内存频率调节对现代GPU能效有何影响？
• RQ5 分层或工作负载感知的DVFS策略是否能进一步提升DNN训练的能效？

主要发现

• 在三种GPU型号的DNN训练中，最优核心频率设置使能耗降低8.7%至23.1%。
• 在DNN推理中，与默认设置相比，能耗节省范围为19.6%至26.4%。
• 在GTX 2080Ti上，当核心频率提高50%时，训练性能最高提升38.2%，推理性能最高提升33.0%。
• P100与V100的能耗曲线呈现山谷趋势，表明存在明确的“最佳频率点”以实现最低能耗。
• 在最优频率下，基于GEMM的卷积实现平均14.5%的能耗节省，FFT为12.6%，Winograd为15.8%。
• 内存频率调节对能效影响可忽略，表明当前GPU实现中收益有限。