[论文解读] SMLT: A Serverless Framework for Scalable and Adaptive Machine Learning Design and Training

Ahsan Ali, Syed Zawad+4 more|arXiv (Cornell University)|May 4, 2022

Cloud Computing and Resource Management被引用 4

一句话总结

SMLT 是一个无服务器框架，通过动态调度资源并克服无服务器平台固有的局限性（如无状态性、函数持续时间短、通信开销大），实现了可扩展、自适应且以用户为中心的机器学习模型训练。与最先进的基于虚拟机和无服务器的机器学习系统相比，SMLT 实现了最高 8 倍的训练速度提升和 3 倍的成本降低。

ABSTRACT

In today's production machine learning (ML) systems, models are continuously trained, improved, and deployed. ML design and training are becoming a continuous workflow of various tasks that have dynamic resource demands. Serverless computing is an emerging cloud paradigm that provides transparent resource management and scaling for users and has the potential to revolutionize the routine of ML design and training. However, hosting modern ML workflows on existing serverless platforms has non-trivial challenges due to their intrinsic design limitations such as stateless nature, limited communication support across function instances, and limited function execution duration. These limitations result in a lack of an overarching view and adaptation mechanism for training dynamics and an amplification of existing problems in ML workflows. To address the above challenges, we propose SMLT, an automated, scalable, and adaptive serverless framework to enable efficient and user-centric ML design and training. SMLT employs an automated and adaptive scheduling mechanism to dynamically optimize the deployment and resource scaling for ML tasks during training. SMLT further enables user-centric ML workflow execution by supporting user-specified training deadlines and budget limits. In addition, by providing an end-to-end design, SMLT solves the intrinsic problems in serverless platforms such as the communication overhead, limited function execution duration, need for repeated initialization, and also provides explicit fault tolerance for ML training. SMLT is open-sourced and compatible with all major ML frameworks. Our experimental evaluation with large, sophisticated modern ML models demonstrate that SMLT outperforms the state-of-the-art VM based systems and existing serverless ML training frameworks in both training speed (up to 8X) and monetary cost (up to 3X)

研究动机与目标

• 解决现有无服务器平台在支持动态、长时间运行的机器学习训练工作流方面的局限性。
• 在用户指定的截止时间和预算约束下，实现机器学习任务的自动化、自适应资源调度。
• 消除无服务器机器学习执行中的通信开销、函数超时限制和重复初始化问题。
• 为无服务器环境中的机器学习训练提供显式的容错能力和端到端工作流管理。
• 提供完全兼容、开源的框架，支持所有主流机器学习框架。

提出的方法

• SMLT 采用自动化、自适应的调度机制，根据实时训练动态和工作负载需求动态分配和扩展资源。
• 它将机器学习训练分解为细粒度的、有状态的无服务器函数，以管理超出原生函数持续时间限制的长时间训练过程。
• 该框架实现了一个轻量级协调层，以支持函数间通信和状态持久化，从而减少通信开销。
• SMLT 通过检查点机制实现容错，支持从故障中恢复，而无需重新处理整个训练任务。
• 它支持用户定义的约束条件，如训练截止时间与预算限制，并据此动态调整资源分配。
• 该系统设计为端到端流水线，抽象了无服务器的复杂性，同时保持与 PyTorch 和 TensorFlow 等主流机器学习框架的兼容性。

实验结果

研究问题

• RQ1 尽管存在平台固有局限性，如何有效适应无服务器计算以支持长时间运行、动态的机器学习训练工作流？
• RQ2 在无服务器机器学习训练中，需要哪些调度与协调机制来最小化通信开销和函数初始化？
• RQ3 无服务器框架是否能够实现相较于传统基于虚拟机和现有无服务器机器学习系统的更优训练性能与成本效率？
• RQ4 如何将用户指定的约束条件（如截止时间与预算限制）集成到完全自动化且自适应的训练系统中？
• RQ5 在无状态无服务器环境中，哪些架构模式能够实现机器学习训练的容错与状态管理？

主要发现

• 与最先进的基于虚拟机的系统相比，SMLT 实现了最高 8 倍的训练速度提升，显著缩短了大规模模型的训练时间。
• 与现有的无服务器机器学习训练解决方案以及基于虚拟机的基线系统相比，SMLT 将货币成本降低了最高 3 倍。
• SMLT 通过协调函数链和检查点机制，成功缓解了函数超时和无状态性的影响，实现了有状态执行。
• 该系统与主流机器学习框架（包括 PyTorch 和 TensorFlow）保持高度兼容，且无需对模型或框架进行任何修改。
• 通过动态资源分配和自适应调度，用户指定的训练截止时间与预算约束得到了有效满足。
• 端到端评估证实，SMLT 在多样化、大规模的现代机器学习模型上均表现出卓越的鲁棒性与效率。