[论文解读] Reliable Model Compression via Label-Preservation-Aware Loss Functions.

V. Roshan Joseph, Shoaib Ahmed Siddiqui+6 more|arXiv (Cornell University)|Dec 3, 2020

Machine Learning and Data Classification参考文献 43被引用 7

一句话总结

本文提出了一种标签保留感知损失函数，用于模型压缩，通过在蒸馏过程中提升教师模型与学生模型之间的对齐程度，减少预测不一致。通过动态调节损失组件，该方法在8种真实世界架构和多种压缩方案下，将预测不一致数量减少最多4.1倍，当参考模型预测正确时，不一致数量减少最多5.7倍。

ABSTRACT

Model compression is a ubiquitous tool that brings the power of modern deep learning to edge devices with power and latency constraints. The goal of model compression is to take a large reference neural network and output a smaller and less expensive compressed network that is functionally equivalent to the reference. Compression typically involves pruning and/or quantization, followed by re-training to maintain the reference accuracy. However, it has been observed that compression can lead to a considerable mismatch in the labels produced by the reference and the compressed models, resulting in bias and unreliability. To combat this, we present a framework that uses a teacher-student learning paradigm to better preserve labels. We investigate the role of additional terms to the loss function and show how to automatically tune the associated parameters. We demonstrate the effectiveness of our approach both quantitatively and qualitatively on multiple compression schemes and accuracy recovery algorithms using a set of 8 different real-world network architectures. We obtain a significant reduction of up to 4.1X in the number of mismatches between the compressed and reference models, and up to 5.7X in cases where the reference model makes the correct prediction.

研究动机与目标

• 解决模型压缩过程中压缩模型与参考模型之间预测标签不一致的问题。
• 通过保持与参考网络的标签一致性，提升压缩模型的可靠性和功能等价性。
• 开发一种在知识蒸馏过程中显式鼓励标签保留的损失函数。
• 自动调节损失组件的超参数，以在多种架构和压缩方法下实现最佳性能。
• 在真实世界模型上，针对多种压缩方案和准确率恢复算法评估该方法。

提出的方法

• 引入一种改进的蒸馏损失，包含一个标签保留感知项，以对齐教师模型与学生模型的预测。
• 采用动态加权机制调节标签保留项，在训练过程中自动调优，以平衡准确率与标签一致性。
• 在剪枝和/或量化后的微调阶段应用该损失函数，以维持功能等价性。
• 采用教师-学生框架，其中参考模型作为教师，压缩模型作为学生。
• 使用基于梯度的优化方法，联合最小化标准分类损失与标签保留感知损失组件。
• 在多种压缩设置下，对8种真实世界网络架构进行方法验证。

实验结果

研究问题

• RQ1 引入标签保留感知损失项后，对压缩模型与参考模型之间预测一致性的提升效果如何？
• RQ2 对损失组件进行自动超参数调优，能在多大程度上提升压缩的可靠性？
• RQ3 与标准蒸馏方法相比，该方法在不同压缩技术下减少预测不一致的效果如何？
• RQ4 该方法在减少预测差异的同时，是否保持或提升模型准确率？
• RQ5 该方法在多种网络架构和压缩方案下的鲁棒性如何？

主要发现

• 与基线方法相比，所提方法将压缩模型与参考模型之间的预测不一致数量减少最多4.1倍。
• 在参考模型预测正确的场景下，不一致数量减少最多5.7倍。
• 该方法在所有8个评估的真实世界网络架构（包括ResNet、DenseNet和EfficientNet变体）中均实现一致改进。
• 损失组件的自动调优带来更好的泛化性能，并降低对超参数选择的敏感性。
• 标签保留感知损失在不降低模型准确率的前提下提升了可靠性，在大多数情况下保持或略微提升top-1准确率。
• 定性分析表明，该方法有效减少了虚假预测偏移，尤其在模糊或对抗性样本中表现更优。