[论文解读] Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models

Zefeng Gao, Peiyu Liu+3 more|arXiv (Cornell University)|Mar 2, 2022

Topic Modeling被引用 11

一句话总结

该论文提出MPOE，一种通过矩阵乘积算子（MPO）分解在专家间共享全局中心张量的参数高效混合专家（MoE）架构，用于预训练语言模型。通过将专家权重矩阵分解为共享中心张量和专家特定的辅助张量，MPOE在保持或提升T5和GPT-2模型性能的同时，相比Switch Transformers将参数量减少了27.2倍，并采用梯度掩码策略以解决优化不平衡问题。

ABSTRACT

Recently, Mixture-of-Experts (short as MoE) architecture has achieved remarkable success in increasing the model capacity of large-scale language models. However, MoE requires incorporating significantly more parameters than the base model being extended. In this paper, we propose building a parameter-efficient MoE architecture by sharing information among experts. We adopt the matrix product operator (MPO, a tensor decomposition from quantum many-body physics) to reconstruct the parameter matrix in the expert layer and increase model capacity for pre-trained language models by sharing parameters of the central tensor (containing the core information) among different experts while enabling the specificity through the auxiliary tensors (complementing the central tensor) of different experts. To address the unbalanced optimization issue, we further design the gradient mask strategy for the MPO-based MoE architecture. Extensive experiments based on T5 and GPT-2 show improved performance and efficiency of the pre-trained language model (27.2x reduction in total parameters for the superior model performance, compared with the Switch Transformers). Our code is publicly available at https://github.com/RUCAIBox/MPOE.

研究动机与目标

• 为解决大规模预训练语言模型（PLMs）中混合专家（MoE）带来的高参数成本问题，尽管模型容量增加，但其可扩展性受到限制。
• 通过识别专家权重矩阵中的共享结构信息，减少专家间的参数冗余。
• 在不牺牲模型容量或性能的前提下，实现参数高效的MoE，尤其适用于低资源或高效训练场景。
• 设计一种训练策略，缓解共享中心张量与专家特定辅助张量之间的优化不平衡问题。
• 证明结构化矩阵分解（MPO）可有效用于构建紧凑且高容量的MoE架构。

提出的方法

• MPOE使用矩阵乘积算子（MPO）分解，将每个专家的权重矩阵分解为全局共享中心张量与多个专家特定辅助张量的乘积。
• 中心张量承载了大部分参数，并在所有专家间共享，从而大幅减少总参数量。
• 专家特定的辅助张量用于捕捉任务或样本相关的差异，实现在保持参数效率的同时扩展模型容量。
• 引入梯度掩码策略，通过在微调过程中抑制对中心张量的梯度更新，实现优化平衡，防止其主导参数更新。
• 该方法应用于T5和GPT-2模型，保留MoE路由机制以支持稀疏激活和高效推理。
• MPO分解确保辅助张量的变化能传播至中心张量，从而在参数共享的前提下保持模型表达能力。

实验结果

研究问题

• RQ1 是否能系统性地减少MoE架构中专家间的参数冗余，而不损失模型容量？
• RQ2 MPO分解中的共享中心张量是否能有效表征预训练语言模型中多个专家的核心知识？
• RQ3 所提出的梯度掩码策略是否能有效平衡共享中心张量与专家特定辅助张量之间的优化？
• RQ4 与标准MoE方法相比，基于MPO的MoE在多大程度上能减少参数量，同时保持或提升性能？
• RQ5 MPOE是否在参数效率方面优于现有MoE增强的PLM（如Switch Transformers）？

主要发现

• MPOE在保持或超越Switch Transformers在T5和GPT-2上性能的同时，将总参数量减少了27.2倍。
• 模型在GLUE和WikiText-2基准上保持了强劲性能，表明共享中心张量有效保留了关键容量。
• 梯度掩码策略显著提升了训练稳定性，并防止了微调过程中共享中心张量的过拟合。
• 实验表明，各专家间的中心张量高度相似，验证了通过MPO分解实现参数共享的可行性。
• MPOE架构实现了高效且高容量的MoE推理，参数开销极小，适用于低资源和部署受限场景。
• 该方法在参数效率方面优于现有竞争性MoE增强PLM，且下游任务准确率无下降。