[论文解读] muNet: Evolving Pretrained Deep Neural Networks into Scalable Auto-tuning Multitask Systems

Andréa Gesmundo, Jeff Dean|arXiv (Cornell University)|May 22, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

muNet 提出了一种进化框架，通过重用层作为模块化组件，将预训练的深度神经网络演化为可扩展、自动调优的多任务系统，实现在避免灾难性遗忘和负迁移的同时实现跨任务的联合学习。在10个图像分类任务上，与标准微调相比，muNet实现了2.39%的平均准确率提升，且每个任务的参数量减少了47%。

ABSTRACT

Most uses of machine learning today involve training a model from scratch for a particular task, or sometimes starting with a model pretrained on a related task and then fine-tuning on a downstream task. Both approaches offer limited knowledge transfer between different tasks, time-consuming human-driven customization to individual tasks and high computational costs especially when starting from randomly initialized models. We propose a method that uses the layers of a pretrained deep neural network as building blocks to construct an ML system that can jointly solve an arbitrary number of tasks. The resulting system can leverage cross tasks knowledge transfer, while being immune from common drawbacks of multitask approaches such as catastrophic forgetting, gradients interference and negative transfer. We define an evolutionary approach designed to jointly select the prior knowledge relevant for each task, choose the subset of the model parameters to train and dynamically auto-tune its hyperparameters. Furthermore, a novel scale control method is employed to achieve quality/size trade-offs that outperform common fine-tuning techniques. Compared with standard fine-tuning on a benchmark of 10 diverse image classification tasks, the proposed model improves the average accuracy by 2.39% while using 47% less parameters per task.

研究动机与目标

• 为解决标准微调和单任务训练中效率低下及知识迁移有限的问题，通过实现多任务间的联合学习。
• 通过模块化、隔离化的知识重用，消除多任务学习中的灾难性遗忘、梯度干扰和负迁移。
• 通过进化算法自动完成超参数调优和架构搜索，动态平衡探索与利用，无需人工调整元超参数。
• 实现可扩展的、增量式的模型演化，使新任务和新知识可被添加，且参数开销极低。
• 通过减少对专家调优模型的依赖，实现高性能机器学习的普惠化，支持对单一持续演化的系统进行集体贡献。

提出的方法

• muNet 通过重用预训练深度神经网络中的层作为模块化构建块，构建多任务模型，实现任务特定知识的封装与共享。
• 进化算法联合搜索先验知识选择、参数子集选择和超参数配置，并动态调整探索与利用的平衡。
• 在进化过程中应用四种变异类型——层克隆、层重用、超参数变异和参数剪枝，以生成新的模型配置。
• 通过动态调度而非固定值自动调优超参数，利用指数衰减采样隐式定义搜索空间的先验分布。
• 通过规模控制机制实现性能与模型大小的权衡，按任务调整模型大小，在参数效率方面优于标准微调。
• 该方法可支持任意预训练模型作为起点，通过迁移学习加速收敛并提升效率。

实验结果

研究问题

• RQ1 进化框架能否在多任务学习系统中联合优化知识选择、参数子集选择和超参数调优？
• RQ2 此类系统能否在实现跨多样化任务的知识重用的同时，避免灾难性遗忘和负迁移？
• RQ3 与标准微调相比，该方法在每个任务上的参数开销能降低多少？
• RQ4 通过进化实现的动态超参数调度能否在多任务设置中优于静态超参数调优？
• RQ5 当逐步增加新任务时，该系统在性能和效率方面如何扩展？

主要发现

• 与标准微调相比，muNet 在10个多样化的图像分类任务上实现了2.39%的平均准确率提升。
• 该方法在实现更高准确率的同时，将每个任务的参数量减少了47%，展现出卓越的参数效率。
• 系统对灾难性遗忘具有免疫性，因为任务特定知识被隔离保存，可在增量学习中持续保留。
• 进化自动调优过程能动态调整探索与利用，无需人工调优元超参数。
• 规模控制机制实现了有效的性能/大小权衡，在准确率和模型紧凑性方面均优于标准微调。
• 该方法支持以极低的参数增长增量添加新任务，实现了可扩展的、集体驱动的模型演化。