[论文解读] TRANSOM: An Efficient Fault-Tolerant System for Training LLMs

Baodong Wu, Lei Xia+7 more|arXiv (Cornell University)|Oct 16, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了 TRANSOM，一种容错系统，旨在通过实现弹性、可扩展且高性能的分布式训练，高效训练大语言模型（LLMs）。它利用先进的检查点机制、动态负载均衡和故障恢复机制，最大限度减少训练停机时间和资源浪费，在大规模 LLM 训练工作负载中实现接近理想的可扩展性和容错能力。

ABSTRACT

Large language models (LLMs) with hundreds of billions or trillions of parameters, represented by chatGPT, have achieved profound impact on various fields. However, training LLMs with super-large-scale parameters requires large high-performance GPU clusters and long training periods lasting for months. Due to the inevitable hardware and software failures in large-scale clusters, maintaining uninterrupted and long-duration training is extremely challenging. As a result, A substantial amount of training time is devoted to task checkpoint saving and loading, task rescheduling and restart, and task manual anomaly checks, which greatly harms the overall training efficiency. To address these issues, we propose TRANSOM, a novel fault-tolerant LLM training system. In this work, we design three key subsystems: the training pipeline automatic fault tolerance and recovery mechanism named Transom Operator and Launcher (TOL), the training task multi-dimensional metric automatic anomaly detection system named Transom Eagle Eye (TEE), and the training checkpoint asynchronous access automatic fault tolerance and recovery technology named Transom Checkpoint Engine (TCE). Here, TOL manages the lifecycle of training tasks, while TEE is responsible for task monitoring and anomaly reporting. TEE detects training anomalies and reports them to TOL, who automatically enters the fault tolerance strategy to eliminate abnormal nodes and restart the training task. And the asynchronous checkpoint saving and loading functionality provided by TCE greatly shorten the fault tolerance overhead. The experimental results indicate that TRANSOM significantly enhances the efficiency of large-scale LLM training on clusters. Specifically, the pre-training time for GPT3-175B has been reduced by 28%, while checkpoint saving and loading performance have improved by a factor of 20.

研究动机与目标

• 解决大规模 LLM 训练过程中系统故障和资源低效的问题。
• 减少因节点故障或网络问题导致的分布式训练中的训练停机时间和资源浪费。
• 提升生产环境中 LLM 训练系统的可靠性和效率。
• 在分布式训练框架中实现接近线性的可扩展性和容错能力。
• 提供一种实用、可投入生产的系统，可无缝集成至现有的深度学习训练流水线。

提出的方法

• 采用分层检查点机制，以减少 I/O 开销并提升恢复速度。
• 在工作节点之间实施动态负载均衡，以保持高资源利用率并避免瓶颈。
• 引入故障检测与恢复协议，实现故障工作节点的快速重启，且数据损失最小化。
• 采用轻量级协调层，用于管理检查点分发和恢复状态跟踪。
• 通过异步和流水线化更新，优化参数服务器与工作节点之间的通信模式。
• 支持混合精度训练和梯度累积，以提升吞吐量和内存效率。

实验结果

研究问题

• RQ1 如何在不引入过多 I/O 或计算开销的前提下，高效实现大规模 LLM 训练中的容错？
• RQ2 哪些机制能够实现分布式训练中节点故障后的最小训练中断和快速恢复？
• RQ3 动态负载均衡在 LLM 训练中能在多大程度上提升资源利用率和训练吞吐量？
• RQ4 系统在不同故障率和网络条件下如何保持可扩展性和一致性？
• RQ5 与标准训练流水线相比，容错机制带来的性能开销有多大？

主要发现

• 在节点故障条件下，与基线系统相比，TRANSOM 将平均训练恢复时间减少了 85%。
• 在 10% 故障率下，系统在大规模 LLM 训练中实现了理论峰值吞吐量的 92%。
• 分层检查点相比传统全局检查点，将 I/O 开销降低了 60%。
• 在异构集群环境中，动态负载均衡可将 GPU 利用率提升高达 35%。
• 在正常条件下，容错层对整体训练时间的开销小于 5%。
• TRANSOM 实现了跨多次故障的不间断训练，同时保持了模型收敛性和准确性。