[论文解读] When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications

Qidong Liu, Xian Wu+5 more|arXiv (Cornell University)|Oct 21, 2023

Topic Modeling被引用 5

一句话总结

本文提出 MOELoRA，一种新颖的参数高效微调框架，结合了专家混合（Mixture-of-Experts, MoE）与 LoRA，以实现在医学大语言模型中的高效多任务学习。通过使用任务驱动的门控函数和低秩专家矩阵，MOELoRA 在多样化的医学任务上实现了卓越性能，同时将可训练参数数量降至最低，在中文多任务医学基准上优于现有参数高效微调（PEFT）方法。

ABSTRACT

The recent surge in Large Language Models (LLMs) has garnered significant attention across numerous fields. Fine-tuning is often required to fit general LLMs for a specific domain, like the web-based healthcare system. However, two problems arise during fine-tuning LLMs for medical applications. One is the task variety problem, which involves distinct tasks in real-world medical scenarios. The variety often leads to sub-optimal fine-tuning for data imbalance and seesaw problems. Besides, the large amount of parameters in LLMs leads to huge time and computation consumption by fine-tuning. To address these two problems, we propose a novel parameter efficient fine-tuning framework for multi-task medical applications, dubbed as MOELoRA. The designed framework aims to absorb both the benefits of mixture-of-expert (MOE) for multi-task learning and low-rank adaptation (LoRA) for parameter efficient fine-tuning. For unifying MOE and LoRA, we devise multiple experts as the trainable parameters, where each expert consists of a pair of low-rank matrices to retain the small size of trainable parameters. Then, a task-motivated gate function for all MOELoRA layers is proposed, which can control the contributions of each expert and produce distinct parameters for various tasks. We conduct experiments on a multi-task medical dataset, indicating MOELoRA outperforms the existing parameter efficient fine-tuning methods. The code is available online.

研究动机与目标

• 解决在多任务医学应用中微调大语言模型所面临的任务多样性与高微调成本双重挑战。
• 统一专家混合（Mixture-of-Experts, MoE）在任务特定知识学习方面的优势与 LoRA 在参数效率方面的优势。
• 设计一种可训练架构，采用低秩专家与任务驱动的门控函数，以动态分配每项任务的专家贡献。
• 在真实世界、多任务中文医学数据集上验证该框架的有效性与高效性。
• 为部署计算成本极低的高效多任务医学大语言模型提供一种实用且开源的解决方案。

提出的方法

• 该框架引入多个低秩专家矩阵作为可训练参数，替代完整的微调。
• 每个专家由一对低秩矩阵构成，以保持参数效率，灵感源自 LoRA。
• 设计了任务驱动的门控函数，以动态调节每个专家对输入任务的贡献。
• 基于 MoE 的架构允许不同任务激活不同的专家组合，实现任务特定的自适应。
• 该方法保留预训练大语言模型的权重，仅微调低秩专家矩阵与门控参数。
• 该框架在多任务医学数据集上进行端到端训练，推理阶段无需额外计算，仅需标准大语言模型推理开销。

实验结果

研究问题

• RQ1 参数高效微调方法是否能有效处理多样化的医学任务而不造成性能下降？
• RQ2 在多任务医学大语言模型设置中，如何联合学习任务特定知识与共享知识？
• RQ3 MoE 与 LoRA 的结合是否能在多任务医学应用中实现优于现有 PEFT 方法的性能？
• RQ4 任务驱动的门控函数是否能提升在异构医学任务上的泛化能力？
• RQ5 MOELoRA 在多任务医学基准上在保持或提升性能的同时，能在多大程度上降低计算成本？

主要发现

• MOELoRA 在公开的多任务中文医学数据集上优于现有参数高效微调方法，在多样化医学任务中表现出卓越性能。
• 该模型在诊断预测、药物推荐和临床报告生成等任务上均取得优异表现，且对数据不平衡具有更强的鲁棒性。
• 任务驱动的门控函数成功实现了每项任务对专家贡献的差异化分配，实现了有效的任务特定自适应，同时保留了共享知识。
• 采用低秩专家矩阵显著保持了高参数效率，与完整微调相比大幅降低了微调成本。
• 专家权重的可视化显示，相关任务（如 CHIP-CDN 与 KUAKE-QIC）之间具有高度相似性，表明实现了有效的知识迁移。
• 该框架的实现已公开发布于 GitHub，支持可复现性与未来功能扩展。