[论文解读] Spectral-Pruning: Compressing deep neural network via spectral analysis

Taiji Suzuki, Hiroshi Abe+7 more|arXiv (Cornell University)|Aug 26, 2018

Neural Networks and Applications参考文献 38被引用 15

一句话总结

本文提出Spectral-Pruning，一种基于内部特征协方差矩阵谱分析的新型模型压缩方法。通过利用特征值分布定义自由度，建立了压缩与泛化误差之间的理论联系，采用兼顾偏差-方差的剪枝策略，在基准数据集上实现了卓越性能。

ABSTRACT

Compression techniques for deep neural network models are becoming very important for the efficient execution of high-performance deep learning systems on edge-computing devices. The concept of model compression is also important for analyzing the generalization error of deep learning, known as the compression-based error bound. However, there is still huge gap between a practically effective compression method and its rigorous background of statistical learning theory. To resolve this issue, we develop a new theoretical framework for model compression and propose a new pruning method called {\it spectral pruning} based on this framework. We define the ``degrees of freedom'' to quantify the intrinsic dimensionality of a model by using the eigenvalue distribution of the covariance matrix across the internal nodes and show that the compression ability is essentially controlled by this quantity. Moreover, we present a sharp generalization error bound of the compressed model and characterize the bias--variance tradeoff induced by the compression procedure. We apply our method to several datasets to justify our theoretical analyses and show the superiority of the the proposed method.

研究动机与目标

• 弥合实际模型压缩技术与统计学习理论之间的差距。
• 为理解深度神经网络中的模型压缩构建一个理论基础框架。
• 通过模型内在维度表征压缩对泛化误差的影响。
• 提出一种在压缩过程中优化偏差-方差权衡的新剪枝方法。

提出的方法

• 通过内部层间协方差矩阵的特征值分布定义深度神经网络的'自由度'。
• 利用特征激活的谱分析量化模型的内在维度。
• 基于自由度推导出压缩模型的紧泛化误差界。
• 制定一种剪枝策略，根据谱敏感性和对模型容量的贡献选择性地移除参数。
• 将理论误差界整合到剪枝目标中，以平衡偏差与方差。
• 将该方法应用于标准深度学习基准以验证理论假设。

实验结果

研究问题

• RQ1 如何利用内部表征的谱特性对模型压缩进行理论证明？
• RQ2 内部特征协方差的特征值分布与模型泛化能力之间存在何种关系？
• RQ3 压缩如何影响深度神经网络中的偏差-方差权衡？
• RQ4 基于谱分析的剪枝方法能否优于现有压缩技术？
• RQ5 所提出的理论误差界在多大程度上能预测压缩后的泛化性能？

主要发现

• 通过内部特征协方差的特征值分布定义的自由度，能有效量化深度神经网络的内在维度。
• 所提出的谱剪枝方法在多个基准数据集上实现了最先进压缩性能。
• 推导出一个紧泛化误差界，以理论严谨性将模型压缩与泛化误差相联系。
• 该方法显式建模并平衡了压缩引起的偏差-方差权衡。
• 实证结果表明，谱剪枝在显著减小模型规模的同时，保持或提升了模型准确率。
• 理论框架为理解压缩对泛化的影响提供了原则性基础，弥合了实践与理论之间的鸿沟。