[论文解读] Transfer Learning for Performance Modeling of Deep Neural Network Systems

Shahriar Iqbal, Lars Kotthoff+1 more|arXiv (Cornell University)|Apr 4, 2019

EEG and Brain-Computer Interfaces被引用 5

一句话总结

本文提出了一种引导采样（GS）迁移学习方法，通过重用预训练模型的知识，高效地为新环境中的深度神经网络（DNN）系统构建性能模型。GS在仅使用配置空间2.44%的情况下，相比直接模型迁移、线性/非线性模型迁移，在预测准确率上提升了19.76%–23.47%，实现了快速且高精度的性能建模，同时仅需极少的微调。

ABSTRACT

Modern deep neural network (DNN) systems are highly configurable with large a number of options that significantly affect their non-functional behavior, for example inference time and energy consumption. Performance models allow to understand and predict the effects of such configuration options on system behavior, but are costly to build because of large configuration spaces. Performance models from one environment cannot be transferred directly to another; usually models are rebuilt from scratch for different environments, for example different hardware. Recently, transfer learning methods have been applied to reuse knowledge from performance models trained in one environment in another. In this paper, we perform an empirical study to understand the effectiveness of different transfer learning strategies for building performance models of DNN systems. Our results show that transferring information on the most influential configuration options and their interactions is an effective way of reducing the cost to build performance models in new environments.

研究动机与目标

• 为解决在新环境中构建DNN系统性能模型时因配置空间庞大而导致的高成本问题。
• 探究迁移学习是否能够降低环境变化（如硬件、工作负载）时构建准确性能模型所需的努力。
• 评估并比较多种迁移学习策略——引导采样、直接模型迁移、线性/非线性模型迁移——在DNN性能建模中的表现。
• 识别预测DNN系统推理时间和能效消耗最有效的迁移策略。

提出的方法

• 在16个DNN系统环境中，实证评估四种迁移学习策略：引导采样（GS）、直接模型迁移（DM）、线性模型迁移（LMS）和非线性模型迁移（NMLS）。
• 使用回归树（RT）和神经网络（NN）从16个环境的实验数据中构建性能模型（2种硬件平台，2种模型，4种图像尺寸）。
• 采用逐步回归法，结合前向选择与后向剔除，识别关键的配置选项及其相互作用（CPU状态与频率；GPU频率；内存控制器频率）。
• 利用一个小而具代表性的样本（配置空间的2.44%）训练迁移模型，聚焦于高影响力的配置交互作用，以降低评估成本。
• 使用平均绝对百分比误差（Err）衡量性能，GS通过引导采样聚焦于最具影响力的配置项。
• 选择Jetson TX2平台搭配InceptionV3模型与600×600图像作为源环境，将其迁移至15个目标环境。

实验结果

研究问题

• RQ1 与直接模型迁移（DM）、线性模型迁移（LMS）和非线性模型迁移（NMLS）相比，引导采样（GS）迁移学习在预测新环境中DNN系统性能方面的有效性如何？
• RQ2 在推理时间和能效消耗方面，使用GS相比其他迁移学习方法，预测误差减少了多少？
• RQ3 需要多大比例的配置空间，才能实现与从零开始构建完整模型相当的准确性？
• RQ4 迁移学习的效果在硬件变更与工作负载变更（如图像尺寸）之间是否存在差异？
• RQ5 迁移学习是否能够降低构建性能模型的计算成本，同时保持高准确率？

主要发现

• 引导采样（GS）优于所有其他迁移学习方法，在使用回归树（RT）时，推理时间预测误差降低19.76%，能效消耗误差降低8.33%。
• 对于神经网络（NN），GS相比次优方法（NMLS）将推理时间误差降低23.47%，能效消耗误差降低12.70%。
• GS仅使用完整配置空间的2.44%（约2.48小时计算量），即可实现与从零开始构建的模型相当的性能模型准确率。
• GS的误差降低效果显著：在神经网络中，推理时间误差比DM低28.09%，比NMLS低23.47%。
• 在能效消耗方面，GS相比DM误差降低42.85%，相比NMLS误差降低12.70%（使用神经网络）。
• 即使仅投入原始训练工作量的0.15%，GS仍能实现显著优于未适应的原始模型（DM）的准确率。