[论文解读] Reinforcement-Learning-based Foresighted Task Scheduling in Cloud Computing.

Seyedakbar Mostafavi, Fatemeh Ahmadi+1 more|arXiv (Cornell University)|Oct 10, 2018

Cloud Computing and Resource Management参考文献 4被引用 5

一句话总结

本文提出了一种基于强化学习（RL）的前瞻性任务调度方法，用于云计算环境，可动态适应波动的用户请求。通过从环境反馈中学习最优调度策略，该方法将响应时间最多减少49.52%，并降低总工期，同时提高资源效率，在所有指标上均优于Random、Mix、FIFO、Greedy和Q-sch算法。

ABSTRACT

With the apperance of cloud computing, users receive computing resources according to pay as you go of cloud service provider. An optimized scheduling approach for mapping all the tasks to the resources is an essential problem due to the limitations and dynamics of resources for requests which vary during the time. This solution may lead to improvement of system's efficiency. There are different methods for cloud computing scheduling with different parameters such as response time, makespan, waiting time, energy consumption, cost, utilization rate, and load balancing. But many of these methods are not suitable for improving scheduling performance in a condition that users requests change during the time. So in this thesis a scheduling method based on reinforcement learning is proposed. Adopting with environment conditions and responding to unsteady requests, reinforcement learning can cause a long-term increase in system's performance. The results show that this proposed method can not only reduce the response time and makespan but also increase resource efficiency as a minor goal. Our proposed illustrates improvements in response time for 49.52%, 46.03%, 43.99%, 43.53% and 38.68% over Random, Mix, FIFO, Greedy and Q-sch algorithms, respectively.

研究动机与目标

• 解决云计算环境中动态且不可预测的用户请求挑战。
• 通过优化响应时间、总工期和资源利用率等关键调度指标，提升系统效率。
• 克服静态或基于启发式方法的调度策略在时变工作负载下失效的局限性。
• 开发一种长期、自适应的调度策略，通过环境反馈学习以提升系统性能。
• 在动态云计算工作负载中，实现优于现有算法（如FIFO、Greedy和Q-sch）的卓越性能。

提出的方法

• 采用强化学习将任务调度建模为序列决策问题。
• 设计一个RL智能体，观测系统状态，采取动作将任务映射到资源，并根据性能指标接收奖励。
• 使用融合响应时间、总工期和资源利用率的奖励函数以引导学习过程。
• 通过与模拟云计算环境的交互，使智能体学习最优调度策略。
• 应用时序差分学习原理更新Q值，随时间推移改进决策能力。
• 通过基于实时反馈持续更新策略，确保对变化工作负载的适应能力。

实验结果

研究问题

• RQ1 如何有效应用强化学习以改善动态云计算环境中的任务调度？
• RQ2 与传统算法相比，基于RL的调度器在响应时间和总工期内能减少多少？
• RQ3 在用户请求波动的情况下，基于RL的方法能否维持高资源利用率和负载均衡？
• RQ4 在实时场景中，所提出方法如何优于现有调度算法（如FIFO、Greedy和Q-sch）？
• RQ5 前瞻性调度对系统效率和性能的长期影响是什么？

主要发现

• 与Random算法相比，所提出的基于RL的调度器将响应时间减少了49.52%。
• 与Mix算法相比，响应时间提升了46.03%。
• 与FIFO算法相比，响应时间减少了43.99%。
• 与Greedy算法相比，响应时间减少了43.53%。
• 与Q-sch算法相比，响应时间提升了38.68%。
• 该方法还作为次要优势提升了资源效率，从而促进整体系统性能。