[论文解读] Spectral Pruning: Compressing Deep Neural Networks via Spectral Analysis and its Generalization Error

Taiji Suzuki, Hiroshi Abe+7 more|arXiv (Cornell University)|Aug 26, 2018

Sparse and Compressive Sensing Techniques参考文献 54被引用 6

一句话总结

本文提出谱剪枝（spectral pruning），一种新颖的深度神经网络压缩方法，通过分析网络内部层激活的谱特性，识别并移除冗余神经元。该方法通过隐藏单元协方差矩阵特征值分布所导出的自由度来量化模型复杂度，实现理论基础扎实、高效的剪枝，可在保持高准确率的同时减小模型尺寸，并获得紧密的泛化误差界，准确捕捉压缩引起的偏差-方差权衡。

ABSTRACT

Compression techniques for deep neural network models are becoming very important for the efficient execution of high-performance deep learning systems on edge-computing devices. The concept of model compression is also important for analyzing the generalization error of deep learning, known as the compression-based error bound. However, there is still huge gap between a practically effective compression method and its rigorous background of statistical learning theory. To resolve this issue, we develop a new theoretical framework for model compression and propose a new pruning method called {\it spectral pruning} based on this framework. We define the ``degrees of freedom'' to quantify the intrinsic dimensionality of a model by using the eigenvalue distribution of the covariance matrix across the internal nodes and show that the compression ability is essentially controlled by this quantity. Moreover, we present a sharp generalization error bound of the compressed model and characterize the bias--variance tradeoff induced by the compression procedure. We apply our method to several datasets to justify our theoretical analyses and show the superiority of the the proposed method.

研究动机与目标

• 通过开发一种理论基础扎实的剪枝方法，弥合实用模型压缩技术与统计学习理论之间的差距。
• 利用来自隐藏层激活特征值谱的自由度概念，表征模型压缩能力。
• 为压缩后的模型推导出一个精确的泛化误差界，明确捕捉剪枝引起的偏差-方差权衡。
• 设计一种简单且可实现的剪枝算法，通过聚焦于神经元之间的冗余性而非单个神经元的大小，最小化信息损失。
• 通过在ImageNet和CIFAR-10等基准数据集上的实证验证，确认理论框架的有效性，并展示优越性能。

提出的方法

• 该方法将深度神经网络的自由度定义为每一隐藏层激活协方差矩阵的有效秩，基于经验协方差矩阵的特征值计算得出。
• 通过识别并移除对协方差结构贡献最小的神经元，基于激活矩阵的谱特性执行剪枝。
• 压缩过程由一个随层间协方差矩阵迹缩放的正则化参数 λℓ 引导，确保对各层冗余性的敏感性。
• 理论分析采用Rademacher复杂度与对称化方法，界定了剪枝模型的泛化误差，表明误差依赖于自由度以及函数类的数据相关复杂度。
• 该方法支持通道级与层级剪枝，包含Spec-Conv（仅剪枝卷积层）和Spec-GAP（用全局平均池化替代全连接层）等变体。
• 该方法通过一种同步压缩过程实现，保持模型结构且无需微调，仅依赖于预训练网络的激活统计量。

实验结果

研究问题

• RQ1 如何形式化量化深度神经网络的内在维度，以指导有效剪枝？
• RQ2 模型压缩与泛化误差之间存在何种理论关系，特别是关于偏差与方差的权衡？
• RQ3 基于内部激活谱分析的剪枝方法是否能优于现有方法，在准确率与压缩效率方面表现更优？
• RQ4 所提出的泛化误差界与经典VC理论及近期基于压缩的界相比如何？
• RQ5 谱剪枝在不同架构与数据集上，在减小模型尺寸的同时，能在多大程度上保持性能？

主要发现

• 在ImageNet数据集上，Spec-Conv实现了70.418%的Top-1准确率，优于ThiNet-Conv（69.80%），且参数量（131.44M）与FLOPs（9.58B）保持一致。
• Spec-GAP仅使用8.32M参数与9.34B FLOPs，实现了67.540%的Top-1准确率，优于相同压缩比下的ThiNet-GAP（67.34%）。
• 所提出的泛化误差界显著优于朴素的VC维界与近期基于压缩的界，展现出强大的理论支持。
• 由层间激活协方差矩阵特征值衰减导出的自由度，有效捕捉了模型内在复杂度，并指导了高效剪枝。
• 该方法在压缩效率与准确率权衡方面达到最先进水平，且剪枝过程计算开销极低。
• 实证结果证实了理论预测的偏差-方差权衡：最优剪枝在压缩引起的偏差与数据引起的方差之间实现平衡。