[论文解读] SkillNet-NLU: A Sparsely Activated Model for General-Purpose Natural Language Understanding

Fan Zhang, Duyu Tang+4 more|arXiv (Cornell University)|Mar 7, 2022

Topic Modeling被引用 7

一句话总结

SkillNet-NLU 提出了一种稀疏激活的通用自然语言理解模型，通过动态激活与任务相关的技能模块（如情感分析或问题理解）而非微调所有参数，实现高效推理。该模型在六个 NLU 任务上优于任务特定微调和多任务基线模型，稀疏预训练进一步提升了性能，并通过复用已有技能实现对新任务的强零样本泛化能力，且不会发生灾难性遗忘。

ABSTRACT

Prevailing deep models are single-purpose and overspecialize at individual tasks. However, when being extended to new tasks, they typically forget previously learned skills and learn from scratch. We address this issue by introducing SkillNet-NLU, a general-purpose model that stitches together existing skills to learn new tasks more effectively. The key feature of our approach is that it is sparsely activated guided by predefined skills. Different from traditional dense models that always activate all the model parameters, SkillNet-NLU only activates parts of the model parameters whose skills are relevant to the target task. When learning for a new task, our approach precisely activates required skills and also provides an option to add new skills. We evaluate on natural language understandings tasks and have the following findings. First, with only one model checkpoint, SkillNet-NLU performs better than task-specific fine-tuning and two multi-task learning baselines (i.e., dense model and Mixture-of-Experts model) on six tasks. Second, sparsely activated pre-training further improves the overall performance. Third, SkillNet-NLU significantly outperforms baseline systems when being extended to new tasks.

研究动机与目标

• 通过使模型能够保留并复用先前学习到的技能，解决单任务微调中的灾难性遗忘问题。
• 通过将模型容量分解为可解释且可复用的技能模块，提升在多样化 NLU 任务上的泛化能力。
• 在推理过程中仅动态激活相关技能模块，实现高效推理，减少参数激活量，提升效率。
• 探索稀疏激活预训练在提升模型性能与迁移能力方面的有效性。
• 构建一个支持稀疏激活的多任务微调与预训练的框架，实现对新任务更好的可扩展性。

提出的方法

• 模型围绕一组预定义的、参数化的技能模块（如 s1 用于序列表征，s4 用于情感理解）构建，每个模块对应一种特定的语言能力。
• 在推理过程中，仅激活与目标任务相关的技能模块，由任务特定的相关性指导，其余模块被禁用——实现稀疏激活。
• 始终激活一个通用默认技能（s7），以处理未见或复合任务，确保模型鲁棒性。
• 模型支持多任务微调与稀疏预训练，其中仅在预训练过程中更新相关技能模块。
• 架构采用模块化前馈网络（FFN）结构实现每个技能，初始化自中文 BERT，并支持增量添加新技能。
• 多任务学习的采样率经过调优以保持数据集平衡，α=1.0 被确定为最优，可避免因过采样导致的性能下降。

实验结果

研究问题

• RQ1 具有可复用技能模块的稀疏激活模型是否能在多个 NLU 任务上超越任务特定微调？
• RQ2 技能模块的稀疏激活如何影响性能与泛化能力，特别是在扩展到新任务时？
• RQ3 与密集预训练相比，稀疏激活预训练是否能提升整体性能与迁移能力？
• RQ4 各个技能模块对模型性能的贡献程度如何？哪些技能对特定任务最为关键？
• RQ5 技能层的数量如何影响模型容量与多任务及零样本设置下的性能表现？

主要发现

• SkillNet-NLU 在六个 NLU 任务上的平均得分为 77.37，优于任务特定微调以及两种多任务学习基线模型（密集模型与 MoE）。
• 消融实验表明，移除任意技能均导致性能下降，其中移除通用技能 s7 的影响最为显著，因其被所有任务共享。
• 移除特定任务技能如 s4（情感理解）或 s5（问题理解）会在其对应任务上引发显著性能下降，证实其必要性。
• 随着 SkillNet-NLU 层次数量的增加，模型性能持续提升，从 3 层时的 76.5% 平均得分提升至 12 层时的 77.4%，表明其具备良好的可扩展性与学习容量增益。
• 稀疏预训练进一步提升了性能，表明对相关技能进行选择性预训练可增强泛化能力与效率。
• 在扩展至新任务时，SkillNet-NLU 显著优于基线模型，通过复用已有技能实现强零样本迁移，且无需微调全部参数。