[论文解读] RLScheduler: Learn to Schedule HPC Batch Jobs Using Deep Reinforcement Learning.

Di Zhang, Dong Dai+2 more|arXiv (Cornell University)|Oct 20, 2019

Cloud Computing and Resource Management被引用 5

一句话总结

RLScheduler 是一种基于深度强化学习的 HPC 工作负载作业调度器，能够自主学习最优调度策略，而无需事先掌握知识。它通过在不同工作负载间泛化所学规则并适应不断变化的目标与系统状态，超越了启发式方法和人工调优的机器学习调度器。

ABSTRACT

We present RLScheduler, a deep reinforcement learning based job scheduler for scheduling independent batch jobs in high-performance computing (HPC) environment. From knowing nothing about scheduling at beginning, RLScheduler is able to autonomously learn how to effectively schedule HPC batch jobs, targeting a given optimization goal. This is achieved by deep reinforcement learning with the help of specially designed neural network structures and various optimizations to stabilize and accelerate the learning. Our results show that RLScheduler can outperform existing heuristic scheduling algorithms, including a manually fine-tuned machine learning-based scheduler on the same workload. More importantly, we show that RLScheduler does not blindly over-fit the given workload to achieve such optimization, instead, it learns general rules for scheduling batch jobs which can be further applied to different workloads and systems to achieve similarly optimized performance. We also demonstrate that RLScheduler is capable of adjusting itself along with changing goals and workloads, making it an attractive solution for the future autonomous HPC management.

研究动机与目标

• 开发一种用于 HPC 环境的自主作业调度器，使其在无先验领域知识的情况下学习最优调度策略。
• 在性能上超越传统启发式算法和人工调优的机器学习调度器。
• 使调度器能够将在不同工作负载和系统配置上学习到的调度规则进行泛化。
• 支持调度策略在优化目标或工作负载特征发生变化时的动态适应。

提出的方法

• RLScheduler 采用深度强化学习训练调度代理，通过试错从环境反馈中学习。
• 使用专门设计的神经网络架构来表示状态-动作值函数，以提升学习稳定性。
• 框架整合了多种优化技术，以加速并稳定强化学习代理的训练过程。
• 调度器被训练以最大化与给定优化目标（如最小化作业周转时间）对齐的奖励信号。
• 代理学习一种将作业和系统状态映射到调度决策的策略，而无需依赖手工规则。
• 该系统设计为可超越训练工作负载进行泛化，支持在新工作负载和 HPC 环境中的迁移应用。

实验结果

研究问题

• RQ1 深度强化学习代理是否能在无先验调度知识的情况下，在 HPC 环境中学习到有效的作业调度策略？
• RQ2 RLScheduler 是否能超越训练工作负载，在未见过的工作负载上实现优化性能？
• RQ3 当优化目标或工作负载发生变化时，RLScheduler 是否能动态调整其调度策略？
• RQ4 与启发式方法和人工调优的机器学习调度器相比，RLScheduler 的性能如何？

主要发现

• RLScheduler 在作业周转时间等调度优化目标上优于现有的启发式调度算法。
• 在相同工作负载上，其性能超越了人工调优的基于机器学习的调度器，展现出更优越的学习能力。
• 该调度器在新工作负载和系统配置上表现出良好的泛化能力，表明其学习的是可迁移的调度规则，而非对训练数据的过拟合。
• RLScheduler 能够根据优化目标或工作负载特征的变化动态调整其调度策略。
• 专用神经网络结构与训练优化的结合，实现了调度策略的稳定且高效的学习。