[论文解读] Progressive Network Grafting for Few-Shot Knowledge Distillation

Chengchao Shen, Xinchao Wang+4 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Neural Network Applications被引用 9

一句话总结

本文提出了一种两阶段渐进式网络嫁接方法，用于少样本知识蒸馏，其中学生网络的模块被逐步嫁接到预训练的教师网络上，并联合优化，以实现在极少标注数据下的高效知识迁移。该方法在仅使用每类1–10个样本的情况下，在CIFAR-10和CIFAR-100上实现了与全数据集知识蒸馏相当的性能。

ABSTRACT

Knowledge distillation has demonstrated encouraging performances in deep model compression. Most existing approaches, however, require massive labeled data to accomplish the knowledge transfer, making the model compression a cumbersome and costly process. In this paper, we investigate the practical few-shot knowledge distillation scenario, where we assume only a few samples without human annotations are available for each category. To this end, we introduce a principled dual-stage distillation scheme tailored for few-shot data. In the first step, we graft the student blocks one by one onto the teacher, and learn the parameters of the grafted block intertwined with those of the other teacher blocks. In the second step, the trained student blocks are progressively connected and then together grafted onto the teacher network, allowing the learned student blocks to adapt themselves to each other and eventually replace the teacher network. Experiments demonstrate that our approach, with only a few unlabeled samples, achieves gratifying results on CIFAR10, CIFAR100, and ILSVRC-2012. On CIFAR10 and CIFAR100, our performances are even on par with those of knowledge distillation schemes that utilize the full datasets. The source code is available at https://github.com/zju-vipa/NetGraft.

研究动机与目标

• 为解决知识蒸馏中的数据饥渴问题，即现有方法在有效训练学生网络时需要大量标注数据。
• 开发一种稳健且基于原理的蒸馏框架，以减少对脆弱的预/后处理技术（如网络剪枝）的依赖。
• 仅使用每类少量未标注样本，实现从教师网络到学生网络的有效知识迁移。
• 通过分块参数优化，提升低数据场景下的训练效率并降低过拟合风险。

提出的方法

• 该方法采用两阶段渐进嫁接过程：首先，将单个学生模块嫁接到教师网络的对应位置，并在教师权重固定的情况下与之联合优化。
• 在第二阶段，已训练好的学生模块被逐步连接并嫁接到教师网络上，使其能够相互适应。
• 在两个阶段中均使用知识蒸馏损失，将学生激活与教师网络的激活对齐。
• 该方法利用教师网络的良好预训练参数，显著缩小了学生网络的有效参数搜索空间。
• 学生模块初始化为轻量化模块，并逐步替换教师架构中的对应部分，从而实现在极小数据下的高效微调。
• 该方法支持部分网络嫁接，允许用较小网络中的轻量化模块替换教师网络中的重型模块。

实验结果

研究问题

• RQ1 是否可以在仅使用每类少量未标注样本的情况下有效进行知识蒸馏，而无需依赖大规模标注数据集？
• RQ2 如何减小学生网络的参数搜索空间，以在低数据场景下提升泛化能力并降低过拟合风险？
• RQ3 与端到端训练相比，将学生模块渐进式嫁接到教师网络上是否能提升训练效率和性能？
• RQ4 通过分块嫁接训练的学生网络在多大程度上能达到与全数据集蒸馏相当的性能？

主要发现

• 在CIFAR-10和CIFAR-100上，即使每类仅使用1个样本，该方法的测试准确率也与全数据集知识蒸馏相当。
• 当每类使用10个样本时，该方法在CIFAR-10上达到93.4%的top-1准确率，在CIFAR-100上达到71.8%，与基线方法持平或更优。
• 分块嫁接策略有效降低了过拟合，表现为训练与测试准确率之间的差距小于端到端训练。
• 在ILSVRC-2012上，将ResNet34的第3和第4个块替换为ResNet18的对应块，参数量减少了69.2%，同时仅造成1.65%的准确率下降（每类10个样本）。
• 该方法收敛更快，泛化性能优于一次性训练整个学生网络，尤其在低样本设置下表现更优。
• 部分网络嫁接展示了显著的模型压缩潜力，在性能损失极小的情况下，模型大小最多可减少69.2%。