[论文解读] Network Transplanting

Quanshi Zhang, Yang Yu+2 more|arXiv (Cornell University)|Apr 26, 2018

Domain Adaptation and Few-Shot Learning参考文献 17被引用 6

一句话总结

本文提出网络移植（network transplanting）方法，通过一种新颖的反向蒸馏算法，实现无需大量训练数据即可将预训练的类别和任务特定神经网络逐步整合到一个通用、模块化的移植网络中。该方法支持零样本或少样本的知识迁移，使移植网络在不发生灾难性遗忘的情况下学习新类别，即使仅使用10–100个样本，其性能也优于监督基线方法，且在无样本情况下表现更优。

ABSTRACT

This paper focuses on a new task, i.e., transplanting a category-and-task-specific neural network to a generic, modular network without strong supervision. We design an functionally interpretable structure for the generic network. Like building LEGO blocks, we teach the generic network a new category by directly transplanting the module corresponding to the category from a pre-trained network with a few or even without sample annotations. Our method incrementally adds new categories to the generic network but does not affect representations of existing categories. In this way, our method breaks the typical bottleneck of learning a net for massive tasks and categories, i.e. the requirement of collecting samples for all tasks and categories at the same time before the learning begins. Thus, we use a new distillation algorithm, namely back-distillation, to overcome specific challenges of network transplanting. Our method without training samples even outperformed the baseline with 100 training samples.

研究动机与目标

• 解决同时为多个类别和任务训练通用神经网络时面临的数据收集成本高和可扩展性瓶颈问题。
• 在无需提前获取全部训练数据的前提下，实现模块化、可解释网络结构中对新类别和任务的增量学习。
• 开发一种方法，在允许直接整合来自外部网络的预训练模块的同时，避免灾难性遗忘。
• 通过最小化或无需监督的知识迁移，减少对大规模标注数据集的依赖。
• 通过模块化、类似乐高积木的网络组合方式，构建一个理论基础扎实、可扩展的通用神经网络框架。

提出的方法

• 设计一个通用的、模块化的移植网络，包含独立的类别模块、任务模块以及用于功能可解释性的适配器。
• 使用一种反向蒸馏算法，训练适配器将预训练类别模块的特征投影到移植网络中的任务模块。
• 采用基于虚拟特征的导数计算策略，实现在缺乏真实训练样本时，通过ReLU操作反向传播梯度。
• 将适配器训练建模为约束优化问题，使用损失函数最小化教师网络与学生网络之间的特征分布差异。
• 通过顺序添加新类别模块并学习适配器，实现移植网络的增量扩展，同时保留已有知识。
• 利用从期望激活幅值推导出的缩放因子λ，稳定反向蒸馏过程中的训练动态。

实验结果

研究问题

• RQ1 是否可以无需一次性获取全部数据，逐步扩展一个通用神经网络以支持新类别和新任务？
• RQ2 如何将预训练的、任务特定的网络知识，以最小或无需监督的方式迁移到模块化、通用的网络中？
• RQ3 在学习新类别的同时，移植网络在原有类别上的性能能保持多好，能否有效避免灾难性遗忘？
• RQ4 当新类别无任何训练样本时，反向蒸馏是否仍能实现有效的知识迁移？
• RQ5 在相似类别与不相似类别之间进行移植时，准确率和泛化能力的表现有何差异？

主要发现

• 当仅使用10–100个训练样本时，所提出的网络移植方法在分割准确率上比直接学习基线方法高出10–12%。
• 令人惊讶的是，即使不使用任何训练样本，该方法的性能仍优于使用100个样本的基线方法，证明了反向蒸馏的有效性。
• 将网络移植到训练于不相似类别（如车辆）的任务模块时，分割准确率略有下降，但分类性能显著提升，表明其具备更广泛的表征学习能力。
• 该方法成功避免了灾难性遗忘，在增量扩展过程中保持了对先前学习类别的强性能。
• 反向蒸馏策略在缺乏新类别真实数据的情况下，仍能实现稳定训练，并有效对齐教师网络与学生网络的特征。
• 实证结果证实，移植网络的模块化、可解释性结构支持灵活、面向应用的类别与任务模块组合。