[论文解读] Research on Heterogeneous Computation Resource Allocation based on Data-driven Method

Xirui Tang, Zeyu Wang+3 more|arXiv (Cornell University)|Aug 11, 2024

Advanced Computing and Algorithms被引用 14

一句话总结

本文提出一种数据驱动的方法，利用历史工作负载数据和深度神经网络来预测异构计算的未来资源需求，随后是一种动态分配策略，与传统方法相比，在性能和资源利用率方面有所提升。

ABSTRACT

The rapid development of the mobile Internet and the Internet of Things is leading to a diversification of user devices and the emergence of new mobile applications on a regular basis. Such applications include those that are computationally intensive, such as pattern recognition, interactive gaming, virtual reality, and augmented reality. However, the computing and energy resources available on the user's equipment are limited, which presents a challenge in effectively supporting such demanding applications. In this work, we propose a heterogeneous computing resource allocation model based on a data-driven approach. The model first collects and analyzes historical workload data at scale, extracts key features, and builds a detailed data set. Then, a data-driven deep neural network is used to predict future resource requirements. Based on the prediction results, the model adopts a dynamic adjustment and optimization resource allocation strategy. This strategy not only fully considers the characteristics of different computing resources, but also accurately matches the requirements of various tasks, and realizes dynamic and flexible resource allocation, thereby greatly improving the overall performance and resource utilization of the system. Experimental results show that the proposed method is significantly better than the traditional resource allocation method in a variety of scenarios, demonstrating its excellent accuracy and adaptability.

研究动机与目标

• 在资源有限的多样移动设备和物联网设备上，推动对计算密集型应用的支持这一挑战。
• 提出一个由历史工作负载数据分析驱动的异构计算资源分配模型。
• 开发一个深度神经网络来预测未来的资源需求。
• 设计一个利用预测结果的动态调整与优化策略。
• 在各种场景中展示相较传统方法的性能和资源利用率提升。

提出的方法

• 在大规模收集和分析历史工作负载数据，以建立详细数据集。
• 从数据中提取关键特征以支撑建模。
• 使用数据驱动的深度神经网络来预测未来的资源需求。
• 基于预测应用动态调整与优化的资源分配策略。
• 在分配决策中考虑不同计算资源的特性及各种任务的需求。

实验结果

研究问题

• RQ1 如何利用历史工作负载数据在异构计算环境中预测未来的资源需求？
• RQ2 数据驱动的深度学习模型能否在不同设备和任务中准确预测资源需求？
• RQ3 基于预测的动态分配策略是否能在性能和资源利用率方面优于传统方法？
• RQ4 所提出的方法在不同场景和工作负载下的适应性如何？

主要发现

• 该方法使用历史数据和深度神经网络来预测未来的资源需求。
• 基于预测结果采用动态分配策略。
• 实验结果表明，在多种场景下，所提出的方法明显优于传统资源分配方法。
• 该方法在测试场景中表现出良好的准确性和适应性。