[论文解读] Online Job Scheduling in Distributed Machine Learning Clusters

Yixin Bao, Yanghua Peng+2 more|arXiv (Cornell University)|Jan 3, 2018

Cloud Computing and Resource Management参考文献 19被引用 13

一句话总结

该论文提出 OASiS，一种用于分布式机器学习集群的在线作业调度算法，可在训练过程中动态调整工作者和参数服务器的数量，以最大化长期作业效用。通过使用高效的对偶子程序的原始-对偶框架，OASiS 实现了多项式时间复杂度，并在仿真和测试平台实验中优于标准调度器，展现出更优的资源利用率和完成时间性能。

ABSTRACT

Nowadays large-scale distributed machine learning systems have been deployed to support various analytics and intelligence services in IT firms. To train a large dataset and derive the prediction/inference model, e.g., a deep neural network, multiple workers are run in parallel to train partitions of the input dataset, and update shared model parameters. In a shared cluster handling multiple training jobs, a fundamental issue is how to efficiently schedule jobs and set the number of concurrent workers to run for each job, such that server resources are maximally utilized and model training can be completed in time. Targeting a distributed machine learning system using the parameter server framework, we design an online algorithm for scheduling the arriving jobs and deciding the adjusted numbers of concurrent workers and parameter servers for each job over its course, to maximize overall utility of all jobs, contingent on their completion times. Our online algorithm design utilizes a primal-dual framework coupled with efficient dual subroutines, achieving good long-term performance guarantees with polynomial time complexity. Practical effectiveness of the online algorithm is evaluated using trace-driven simulation and testbed experiments, which demonstrate its outperformance as compared to commonly adopted scheduling algorithms in today's cloud systems.

研究动机与目标

• 为解决共享机器学习集群中因静态分配工作者和参数服务器而导致的资源利用率低下、限制训练速度的问题。
• 设计一种在线调度算法，在作业执行过程中自适应调整资源分配，以提升训练效率和集群整体效用。
• 基于作业效用和资源成本实现动态准入决策，确保长期性能优化。
• 通过基于实际工作负载的仿真和基于 Kubernetes 的 MXNet 原型在真实测试平台上的实验，评估该算法的有效性。

提出的方法

• OASiS 采用原始-对偶优化框架，实时计算调度决策，平衡作业效用与资源成本。
• 该算法根据未来资源可用性和作业效用的预测，动态调整每个作业的并发工作者和参数服务器数量。
• 通过使用对偶子程序，高效求解在线优化问题，实现多项式时间复杂度。
• 资源价格被用作信号，指导准入决策，在资源稀缺时过滤低效用作业。
• 系统与 Kubernetes 集成，并修改 MXNet 以支持运行时重新配置工作者和参数服务器数量。
• 作业效用建模为完成时间的函数，高优先级作业将获得更优的调度待遇。

实验结果

研究问题

• RQ1 如何在动态资源可用性条件下，优化分布式机器学习集群中的在线作业调度，以最大化长期效用？
• RQ2 与固定分配相比，动态扩展工作者和参数服务器在真实机器学习工作负载中能带来多大的性能提升？
• RQ3 在作业效用和完成及时性方面，OASiS 算法相较于 FIFO、DRF 和 RRH 等标准调度器表现如何？
• RQ4 作业效用-资源比的估计误差对算法的竞争比和性能有何影响？

主要发现

• OASiS 相较于离线最优解的性能比在 1.1 到 1.5 之间，表明在现实条件下具备出色的竞争力。
• 在资源受限场景下，低估效用-资源比会导致比高估更高的总效用，原因是减少了作业过滤。
• 在 12 个作业、10 个时间片的测试平台实验中，OASiS 展现出优于 FIFO、DRF 和 RRH 调度器的总作业效用和更好的完成及时性。
• 即使在 100 个时间片和 80 台服务器的复杂场景下，该算法运行时间也低于 1 秒，表明其在复杂优化问题下仍具备实际可扩展性。
• 仿真结果证实，即使在作业效用估计不确定的情况下，OASiS 仍能保持良好的长期性能保证，并具备多项式时间复杂度。