[论文解读] Towards Accommodating Real-time Jobs on HPC Platforms

Sam Nickolay, Eun-Sung Jung+2 more|arXiv (Cornell University)|Mar 24, 2021

Distributed and Parallel Computing Systems参考文献 49被引用 6

一句话总结

该论文提出了一种新颖的启发式调度算法——加权成本作业调度（WCJS），并结合即时检查点技术，实现在HPC平台上无需严重降低批处理作业性能的前提下支持实时作业的实时执行。基于阿贡国家实验室Mira超级计算机的追踪数据，当实时作业工作负载占10%时，该方法将实时作业的减速比降低了35%，而批处理作业的减速比仅增加10%，充分证明了其在生产级HPC系统中的强大实际可行性。

ABSTRACT

Increasing data volumes in scientific experiments necessitate the use of high-performance computing (HPC) resources for data analysis. In many scientific fields, the data generated from scientific instruments and supercomputer simulations must be analyzed rapidly. In fact, the requirement for quasi-instant feedback is growing. Scientists want to use results from one experiment to guide the selection of the next or even to improve the course of a single experiment. Current HPC systems are typically batch-scheduled under policies in which an arriving job is run immediately only if enough resources are available; otherwise, it is queued. It is hard for these systems to support real-time jobs. Real-time jobs, in order to meet their requirements, should sometimes have to preempt batch jobs and/or be scheduled ahead of batch jobs that were submitted earlier. Accommodating real-time jobs may negatively impact system utilization also, especially when preemption/restart of batch jobs is involved. We first explore several existing scheduling strategies to make real-time jobs more likely to be scheduled in due time. We then rigorously formulate the problem as a mixed-integer linear programming for offline scheduling and develop novel scheduling heuristics for online scheduling. We perform simulation studies using trace logs of Mira, the IBM BG/Q system at Argonne National Laboratory, to quantify the impact of real-time jobs on batch job performance for various percentages of real-time jobs in the workload. We present new insights gained from grouping jobs into different categories based on runtime and the number of nodes used and studying the performance of each category. Our results show that with 10% real-time job percentages, just-in-time checkpointing combined with our heuristic can improve the slowdowns of real-time jobs by 35% while limiting the increase of the slowdowns of batch jobs to 10%.

研究动机与目标

• 为解决在传统批处理调度的HPC系统中集成实时作业所面临的挑战，这类系统原本并非为低延迟、按需执行而设计。
• 评估实时作业对不同作业类别下批处理作业吞吐量和系统利用率的影响。
• 开发一种实用且可扩展的调度启发式方法，实现对实时作业的抢占与优先处理，同时最小化对批处理作业的干扰。
• 将所提出的启发式方法与最优混合整数线性规划（MILP）公式进行对比，基于真实世界追踪数据验证其有效性。

提出的方法

• 将实时作业调度问题建模为混合整数线性规划（MILP）问题，用于离线最优调度，从而为启发式方法的性能提供基准。
• 设计一种新颖的在线调度启发式算法——加权成本作业调度（WCJS），根据考虑紧迫性、资源需求和抢占影响的加权成本函数对实时作业进行优先级排序。
• 引入即时检查点（JIT）技术，通过最小化被抢占的批处理作业的状态丢失和重启时间，降低抢占的开销。
• 基于运行时间和节点数量对作业进行分类（如窄短型、宽长型等），以分析不同工作负载类型下的性能差异。
• 使用阿贡国家实验室Mira IBM BG/Q系统的追踪日志，模拟具有不同实时作业占比（最高达10%）的真实HPC工作负载。
• 在小规模问题实例上将WCJS启发式方法与最优MILP公式进行对比，验证其近似最优性并识别可改进之处。

实验结果

研究问题

• RQ1 当现有调度策略被调整以支持HPC环境中具有批处理工作负载的实时作业时，其表现如何？
• RQ2 在允许实时作业抢占或优先执行的情况下，实时作业响应性与批处理作业减速比之间的性能权衡是什么？
• RQ3 即时检查点技术在多大程度上可以降低抢占开销并提升实时作业调度效率？
• RQ4 所提出的WCJS启发式方法在作业减速比和资源利用率方面，与基于最优MILP的离线公式相比表现如何？
• RQ5 基于运行时间和节点数量划分的哪些作业类别对实时作业抢占最敏感？调度策略如何针对这些类别进行定制？

主要发现

• 当工作负载中包含10%的实时作业时，所提出的WCJS启发式方法结合即时检查点技术，将实时作业的减速比从1.94降低至1.25，改善幅度达35%。
• 相同配置下，批处理作业的减速比仅从2.26增加至2.51，增幅为10%，表明对传统工作负载的负面影响极小。
• 实时作业性能提升最大的是宽长型作业类别，其减速比从3.0降至1.2（降低60%），宽窄型作业类别则从24.40降至5.06（降低80%）。
• 窄短型作业类别的改善幅度最小（20%），这是由于其基线减速比已较低，但在负载下仍保持合理的1.94减速比。
• 在小规模测试用例中，WCJS启发式方法在实时作业减速比上比最优MILP公式差38%，在批处理作业减速比上差69%，表明仍有进一步优化启发式方法的空间。
• 研究识别出不可检查点的批处理作业是主要限制因素，由于无法安全抢占，导致其在工作负载中占比越高，实时作业的减速比也越高。