[论文解读] Synaptic Strength For Convolutional Neural Network

Lin Chen, Zhao Zhong+2 more|arXiv (Cornell University)|Nov 6, 2018

Advanced Memory and Neural ComputingEngineering被引用 16

一句话总结

本文提出了一种新型卷积神经网络参数——突触强度（Synaptic Strength），用于量化特征图之间单个连接的重要性。通过归一化权重和输入，并将该强度用作剪枝标准，该方法在CIFAR-10上实现了高达96%的连接剪枝，且精度损失极小，在ImageNet上也优于现有方法，在精度保持能力和稀疏性效率方面表现更优。

ABSTRACT

Convolutional Neural Networks(CNNs) are both computation and memory intensive which hindered their deployment in mobile devices. Inspired by the relevant concept in neural science literature, we propose Synaptic Pruning: a data-driven method to prune connections between input and output feature maps with a newly proposed class of parameters called Synaptic Strength. Synaptic Strength is designed to capture the importance of a connection based on the amount of information it transports. Experiment results show the effectiveness of our approach. On CIFAR-10, we prune connections for various CNN models with up to 96% , which results in significant size reduction and computation saving. Further evaluation on ImageNet demonstrates that synaptic pruning is able to discover efficient models which is competitive to state-of-the-art compact CNNs such as MobileNet-V2 and NasNet-Mobile. Our contribution is summarized as following: (1) We introduce Synaptic Strength, a new class of parameters for CNNs to indicate the importance of each connections. (2) Our approach can prune various CNNs with high compression without compromising accuracy. (3) Further investigation shows, the proposed Synaptic Strength is a better indicator for kernel pruning compared with the previous approach in both empirical result and theoretical analysis.

研究动机与目标

• 为解决深度CNN在移动端部署时的高计算与内存需求。
• 开发一种受生物突触剪枝启发的数据驱动端到端剪枝方法。
• 提出突触强度作为衡量CNN中连接重要性的新参数。
• 通过核级稀疏性实现高精度、高度压缩的CNN模型。
• 在CIFAR-10和ImageNet上评估该方法，证明其在剪枝技术方面优于现有方法。

提出的方法

• 突触强度定义为归一化输入特征图激活与卷积核权重的乘积，用于捕捉每条连接的信息流。
• 通过批量归一化和L2归一化对输入特征与卷积核权重进行处理，以稳定并缩放突触强度。
• 引入稀疏性正则化项（λ），在端到端训练过程中鼓励剪除低重要性连接。
• 通过将低突触强度值对应的卷积核置零实现剪枝，从而生成核级稀疏模型。
• 该方法与Winograd卷积兼容，保持稀疏性，并支持GPU上的高效推理。
• 消融实验验证了在突触强度公式中同时保留γ（批量归一化缩放参数）和卷积核L2归一化的重要性。

实验结果

研究问题

• RQ1 一种数据驱动、受生物启发的剪枝方法是否能实现比现有方法更高的压缩率？
• RQ2 与L1范数或组LASSO等现有方法相比，突触强度是否是连接重要性的更准确指标？
• RQ3 能否利用Winograd卷积高效加速核级稀疏CNN？
• RQ4 在高剪枝率下，该方法在精度与稀疏性之间的权衡表现如何？
• RQ5 包含归一化组件（γ和卷积核范数）是否显著提升剪枝性能？

主要发现

• 在CIFAR-10上，该方法实现了高达96%的突触连接剪枝，且精度无损失，显著优于现有方法在高稀疏度下的表现。
• 在90%稀疏度下，该方法的精度损失小于1%，而基于SSL的方法精度损失超过1%，表明其具有更强的鲁棒性。
• 在ImageNet上，剪枝后的ResNet-50模型达到25.32%的top-1错误率，参数量为590万，效率与MobileNet-V2和NasNet-Mobile相当或更优。
• 该方法实现的稀疏度（4%）比Winograd域剪枝（25%）高出8倍，同时保持几乎相同的精度（6.23%错误率 vs. 7.40%）。
• 消融实验确认，若移除γ因子或卷积核归一化，性能将下降，验证了突触强度设计的合理性。
• 即使在极端剪枝率下（如97.5%），该方法仍能保持高精度，展现出强大的鲁棒性与可扩展性。