[论文解读] Unicron: Economizing Self-Healing LLM Training at Scale

Tao He, Xue Li+5 more|arXiv (Cornell University)|Dec 30, 2023

Topic Modeling被引用 5

一句话总结

Unicron 是一种用于大规模 LLM 训练的分布式工作负载管理器，通过带内错误检测、动态成本感知重新配置以及高效的状态转换策略，最小化与故障相关的成本。它通过优化 GPU 集群中多个并发任务的恢复过程，将训练效率提升至现有最先进方法的 1.9 倍。

ABSTRACT

Training large-scale language models is increasingly critical in various domains, but it is hindered by frequent failures, leading to significant time and economic costs. Current failure recovery methods in cloud-based settings inadequately address the diverse and complex scenarios that arise, focusing narrowly on erasing downtime for individual tasks without considering the overall cost impact on a cluster. We introduce Unicron, a workload manager designed for efficient self-healing in large-scale language model training. Unicron optimizes the training process by minimizing failure-related costs across multiple concurrent tasks within a cluster. Its key features include in-band error detection for real-time error identification without extra overhead, a dynamic cost-aware plan generation mechanism for optimal reconfiguration, and an efficient transition strategy to reduce downtime during state changes. Deployed on a 128-GPU distributed cluster, Unicron demonstrates up to a 1.9x improvement in training efficiency over state-of-the-art methods, significantly reducing failure recovery costs and enhancing the reliability of large-scale language model training.

研究动机与目标

• 解决在云平台上大规模 LLM 训练中故障带来的高昂经济和时间成本。
• 克服现有故障恢复方法的局限性，这些方法仅关注单个任务的恢复，而未考虑集群范围内的成本影响。
• 设计一个整体的自愈系统，以最小化多个并发训练任务的总故障相关成本。
• 在响应多种故障类型时，实现高效、动态的工作负载重新配置，同时减少停机时间和资源浪费。
• 在高故障频率和复杂故障场景下，展示训练效率和吞吐量的显著提升。

提出的方法

• Unicron 采用带内错误检测技术，实现实时故障识别，无需额外监控开销，从而实现即时响应。
• 它使用动态成本感知计划生成机制，评估所有受影响任务的重新配置选项，以最小化总恢复成本。
• 该系统实施高效的过渡策略，以减少节点下线或加入期间的停机时间，确保对正在进行的训练影响最小。
• Unicron 基于 Megatron-LM 构建，并与现有的分布式训练框架集成，从而在保持高基线效率的同时增加自愈能力。
• 当有益时，它支持同时重新配置多个任务，而基线方法仅重新配置直接受影响的任务。
• 该系统使用真实世界故障痕迹和具有不同故障频率的合成工作负载进行评估，包括故障频率提高 20 倍的场景。

实验结果

研究问题

• RQ1 如何优化大规模 LLM 训练中的故障恢复，以最小化多个并发任务的总成本，而非仅关注单个任务的恢复？
• RQ2 哪些机制能够实现在分布式训练集群中实时、低开销的错误检测，而无需外部监控？
• RQ3 与按任务恢复策略相比，对多个任务进行动态、成本感知的重新配置如何提升整体训练效率？
• RQ4 在高频率故障条件下，自愈系统在多大程度上能够保持高吞吐量？
• RQ5 与现有容错系统相比，整体自愈方法在真实世界 LLM 训练工作负载中的性能提升有多大？

主要发现

• 在高故障频率下，Unicron 的训练效率最高可达现有最先进方法的 1.9 倍，以累积 WAF（工作负载感知 FLOPs）衡量。
• 在 trace-a（基线故障频率）下，Unicron 的累积 WAF 性能优于 Megatron 1.2 倍、Bamboo 4.6 倍、Oobleck 3.7 倍、Varuna 4.8 倍。
• 在 trace-b（故障频率提高 20 倍）下，Unicron 相较 Megatron 提升 1.9 倍、Bamboo 提升 4.8 倍、Oobleck 提升 3.8 倍、Varuna 提升 5.8 倍。
• 该系统通过减少恢复步骤并实现任务间的协调重新配置，显著降低了停机时间，即使在多个故障同时发生时也是如此。
• Unicron 通过利用 Megatron 的现有优化，在增加智能自愈能力的同时保持了高效率，证明了容错性与训练效率可以共存。
• 结果表明，缺乏成本感知恢复的系统在故障导致的吞吐量损失可达三倍或以上，凸显了整体优化的重要性。