[论文解读] Spirit Distillation: A Model Compression Method with Multi-domain Knowledge Transfer

Zhiyuan Wu, Yu Jiang+5 more|arXiv (Cornell University)|Apr 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用 4

一句话总结

本文提出精神蒸馏（Spirit Distillation, SD）与增强型精神蒸馏（Enhanced Spirit Distillation, ESD），一种新颖的知识蒸馏框架，可实现从预训练教师网络到紧凑学生网络的跨域知识迁移，提升少样本学习中的模型压缩与鲁棒性。通过迁移教师网络前端的一般特征，并引入一个与目标域相似的邻近域以实现更丰富的特征学习，ESD在仅使用41.8% FLOPs的情况下，将mIOU提升1.4%，高精度准确率提升8.2%。

ABSTRACT

Recent applications pose requirements of both cross-domain knowledge transfer and model compression to machine learning models due to insufficient training data and limited computational resources. In this paper, we propose a new knowledge distillation model, named Spirit Distillation (SD), which is a model compression method with multi-domain knowledge transfer. The compact student network mimics out a representation equivalent to the front part of the teacher network, through which the general knowledge can be transferred from the source domain (teacher) to the target domain (student). To further improve the robustness of the student, we extend SD to Enhanced Spirit Distillation (ESD) in exploiting a more comprehensive knowledge by introducing the proximity domain which is similar to the target domain for feature extraction. Results demonstrate that our method can boost mIOU and high-precision accuracy by 1.4% and 8.2% respectively with 78.2% segmentation variance, and can gain a precise compact network with only 41.8% FLOPs.

研究动机与目标

• 在数据稀缺与计算资源有限的条件下，应对模型压缩与少样本学习的双重挑战。
• 通过利用在源域上预训练的教师网络，实现有效跨域知识迁移，以提升目标域中学生网络的性能。
• 通过引入与目标域相似的邻近域，增强特征学习，提升紧凑学生网络的鲁棒性与泛化能力。
• 开发一个统一框架，结合知识蒸馏与多域知识迁移，实现高效且高性能的模型压缩。

提出的方法

• 提出精神蒸馏（SD），使学生网络学习到与教师网络前端等价的表征，从而将源域的一般知识迁移至学生网络。
• 通过引入一个与目标域相似的邻近域，将SD扩展为增强型精神蒸馏（ESD），实现更全面的特征提取。
• 采用基于特征的蒸馏方法，将教师网络早期层的中间表征迁移至学生网络，以最小化FLOPs并保持性能。
• 通过结合来自源域（经由教师）与邻近域的知识训练学生网络，提升泛化能力并降低方差。
• 通过调整邻近域数据比例 $ r $ 优化训练过程，实现鲁棒性与性能之间的可控权衡。
• 在中间特征上应用知识蒸馏损失，而不仅限于logits，以保留跨域之间的结构与语义知识。

实验结果

研究问题

• RQ1 知识蒸馏能否被有效扩展以支持跨域知识迁移，同时实现模型压缩？
• RQ2 引入一个与目标域相似的邻近域，如何提升紧凑学生网络的鲁棒性与性能？
• RQ3 在训练数据有限的情况下，精神蒸馏（SD）与增强型精神蒸馏（ESD）在mIOU与高精度准确率方面能提升多少？
• RQ4 邻近域数据比例（$ r $）的变化对学生网络分割方差与鲁棒性有何影响？

主要发现

• 与标准训练相比，精神蒸馏（SD）将mIOU提升1.4%，高精度准确率提升8.2%，且仅使用41.8%的FLOPs。
• 与标准训练相比，增强型精神蒸馏（ESD）将分割方差降低21.8%，高精度准确率提升8.2%。
• 当 $ r = 0.5 $ 时，ESD实现89.2%的高精度准确率与4.48 × 10⁻³的方差，展现出卓越的鲁棒性。
• 邻近域的使用显著提升了预测的一致性，减少了极差分割结果的比例。
• 可视化对比显示，ESD在阴影与道路边界分割方面优于标准训练或仅使用SD的方法。
• 该方法在目标域数据有限的情况下仍保持高性能，证实其在少样本学习场景下的有效性。