[论文解读] Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks

Muhammad Sabih, Frank Hannig+1 more|arXiv (Cornell University)|Aug 20, 2020

Adversarial Robustness in Machine Learning被引用 16

一句话总结

本文提出了一种基于可解释人工智能（Explainable AI）的统一框架，用于深度神经网络（DNN）压缩，具体采用DeepLIFT方法指导结构化与非结构化剪枝、基于加权k-means聚类的非均匀量化，以及混合精度整数量化。通过利用DeepLIFT为神经元和权重分配重要性评分，该方法在CIFAR-10、CIFAR-100和ImageNet基准上实现了SOTA或具有竞争力的准确率，同时显著降低了模型大小与计算成本，尤其在无需微调的情况下优于先前方法。

ABSTRACT

For many applications, utilizing DNNs (Deep Neural Networks) requires their implementation on a target architecture in an optimized manner concerning energy consumption, memory requirement, throughput, etc. DNN compression is used to reduce the memory footprint and complexity of a DNN before its deployment on hardware. Recent efforts to understand and explain AI (Artificial Intelligence) methods have led to a new research area, termed as explainable AI. Explainable AI methods allow us to understand better the inner working of DNNs, such as the importance of different neurons and features. The concepts from explainable AI provide an opportunity to improve DNN compression methods such as quantization and pruning in several ways that have not been sufficiently explored so far. In this paper, we utilize explainable AI methods: mainly DeepLIFT method. We use these methods for (1) pruning of DNNs; this includes structured and unstructured pruning of \\ac{CNN} filters pruning as well as pruning weights of fully connected layers, (2) non-uniform quantization of DNN weights using clustering algorithm; this is also referred to as Weight Sharing, and (3) integer-based mixed-precision quantization; this is where each layer of a DNN may use a different number of integer bits. We use typical image classification datasets with common deep learning image classification models for evaluation. In all these three cases, we demonstrate significant improvements as well as new insights and opportunities from the use of explainable AI in DNN compression.

研究动机与目标

• 解决在多样化硬件部署场景下，DNN压缩缺乏标准化、可解释性与统一方法的问题。
• 通过可解释人工智能识别对模型预测具有关键贡献的神经元与权重，从而改进剪枝与量化技术。
• 开发一个统一框架，同时优化DNN压缩中的乘加操作（MAC）与参数数量（NPs）。
• 利用基于DeepLIFT的加权方法，实现更高效的非均匀与混合精度量化。
• 在无需微调的情况下实现具有竞争力的性能，降低对再训练的依赖。

提出的方法

• 使用DeepLIFT计算每个神经元与权重的贡献评分，反映其在模型输出预测中的重要性。
• 基于DeepLIFT评分实施迭代剪枝，以在结构化与非结构化设置下移除低重要性神经元、滤波器与权重。
• 提出DeepLIFT加权均方误差（DWMSE）准则，指导k-means聚类以实现非均匀量化，通过基于层敏感度与参数数量加权聚类中心，提升聚类效率。
• 提出一种粗到细的搜索策略用于混合精度整数量化，根据DeepLIFT敏感度评分分配各层位宽，以最小化准确率下降。
• 在量化后对批量归一化进行校准，以保持准确率，无需额外微调。
• 采用统一流水线，通过敏感度驱动的剪枝与量化，支持对MAC操作、参数数量（NPs）或两者同时优化。

实验结果

研究问题

• RQ1 基于DeepLIFT的重要性评分能否提升DNN中结构化与非结构化剪枝的性能？
• RQ2 基于DeepLIFT引导的加权聚类能否在非均匀量化中优于标准MSE或基于Hessian的加权方法？
• RQ3 基于敏感度的粗到细位宽分配搜索策略能否在混合精度整数量化中实现优于现有方法的准确率？
• RQ4 所提方法在无需微调的情况下是否能保持高准确率，特别是在低精度设置下？
• RQ5 能否通过单一可解释人工智能驱动的框架统一多种DNN压缩技术（剪枝、量化），并实现一致的高性能表现？

主要发现

• 所提出的DeepLIFT加权均方误差（DWMSE）方法在ResNet20与CIFAR-10上，尤其在无需微调的情况下，量化准确率优于Hessian加权MSE与标准MSE。
• 在混合精度整数量化中，该方法在CIFAR-10上实现了91.2%的top-1准确率，权重与激活分别使用79个累积位（CB），优于先前基于Hessian的方法（准确率92.22%，权重与激活分别使用81与88 CB）。
• 该框架通过基于DeepLIFT的敏感度评分，有效实现了滤波器与全连接层权重的剪枝，显著提升了压缩效率。
• 该方法在多个数据集（CIFAR-10、CIFAR-100、ImageNet）与模型上均表现出具有竞争力的性能，展现了广泛的适用性。
• 在非均匀量化与混合精度设置下观察到显著改进，尤其在未使用微调时更为明显。
• 统一方法同时优化了MAC操作与参数数量，为多样化硬件部署约束提供了灵活性。