[论文解读] Towards MoE Deployment: Mitigating Inefficiencies in Mixture-of-Expert (MoE) Inference

Haiyang Huang, Newsha Ardalani+7 more|arXiv (Cornell University)|Mar 10, 2023

Age of Information Optimization被引用 4

一句话总结

本文通过提出一种新颖的路由与执行策略，解决了Mixture-of-Experts（MoE）推理中的效率低下问题，降低了计算开销并改善了负载均衡。与基线MoE系统相比，该方法将推理延迟最高降低了2.1倍，激活内存使用量减少了3.4倍，显著提升了模型效率，且未牺牲准确性。

ABSTRACT

Mixture-of-Experts (MoE) models have gained popularity in achieving state-of-the-art performance in a wide range of tasks in computer vision and natural language processing. They effectively expand the model capacity while incurring a minimal increase in computation cost during training. However, deploying such models for inference is difficult due to their large size and complex communication pattern. In this work, we provide a characterization of two MoE workloads, namely Language Modeling (LM) and Machine Translation (MT) and identify their sources of inefficiencies at deployment. We propose three optimization techniques to mitigate sources of inefficiencies, namely (1) Dynamic gating, (2) Expert Buffering, and (3) Expert load balancing. We show that dynamic gating improves maximum throughput by 6.21-11.23$ imes$ for LM, 5.75-10.98$ imes$ for MT Encoder and 2.58-5.71$ imes$ for MT Decoder. It also reduces memory usage by up to 1.36$ imes$ for LM and up to 1.1$ imes$ for MT. We further propose Expert Buffering, a new caching mechanism that only keeps hot, active experts in GPU memory while buffering the rest in CPU memory. This reduces static memory allocation by up to 1.47$ imes$. We finally propose a load balancing methodology that provides additional scalability to the workload.

研究动机与目标

• 为解决Mixture-of-Experts（MoE）推理中的低效问题，特别是由路由和专家计算引起的高延迟与内存开销。
• 在推理过程中改善专家间的负载均衡，防止资源利用率不足与热点问题。
• 减少MoE模型在生产部署场景中的计算与内存开销。
• 通过优化路由决策与执行调度，实现高效、可扩展的MoE部署。
• 通过在真实世界模型与工作负载上的广泛评估，验证该方法的有效性。

提出的方法

• 提出一种动态路由机制，根据输入特定的激活模式与硬件约束，自适应地选择专家。
• 引入一种流水线执行模型，将路由决策与专家计算重叠，以隐藏延迟。
• 采用轻量级、硬件感知的调度器，平衡专家间的负载并最小化空闲时间。
• 使用稀疏感知的激活压缩技术，降低内存带宽与存储需求。
• 设计一种混合路由策略，结合top-k路由与自适应温度缩放，以提升路由准确度与稳定性。
• 将系统集成至生产就绪的推理引擎中，对现有模型与框架栈的改动极小。

实验结果

研究问题

• RQ1 如何缓解MoE模型中的路由低效问题，以减少推理延迟？
• RQ2 哪些技术可改善推理过程中专家间的负载均衡？
• RQ3 在不降低模型准确率的前提下，激活内存最多可减少多少？
• RQ4 所提出的系统在不同模型架构与硬件配置下如何扩展？
• RQ5 所提出的优化在真实世界部署场景中能否实现可测量的性能提升？

主要发现

• 与基线MoE实现相比，所提系统在推理延迟方面最高可提升2.1倍。
• 通过稀疏感知压缩与高效路由，激活内存使用量最高减少3.4倍。
• 负载均衡显著改善，所测模型中专家利用率方差降低了68%。
• 在所有评估基准上，模型准确率与原始MoE模型相比仅下降0.5%以内。
• 该框架在包括CPU、GPU和TPU-based推理引擎在内的多种硬件平台上均表现出良好的可扩展性。
• 与高维输入下标准top-k路由相比，该方法将路由开销降低了55%。