[论文解读] Neuron Merging: Compensating for Pruned Neurons

Woojeong Kim, Suhyun Kim+2 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications被引用 3

一句话总结

本文提出神经元融合方法，通过将权重分解为新的层权重矩阵和一个指导神经元组合的缩放矩阵，来补偿剪枝神经网络中的精度损失。在ReLU条件下，将缩放矩阵融入下一层权重，该方法可保留特征图并维持精度，无需微调，在VGG-16上实现参数减少64%的同时在CIFAR-10上达到93.16%的准确率。

ABSTRACT

Network pruning is widely used to lighten and accelerate neural network models. Structured network pruning discards the whole neuron or filter, leading to accuracy loss. In this work, we propose a novel concept of neuron merging applicable to both fully connected layers and convolution layers, which compensates for the information loss due to the pruned neurons/filters. Neuron merging starts with decomposing the original weights into two matrices/tensors. One of them becomes the new weights for the current layer, and the other is what we name a scaling matrix, guiding the combination of neurons. If the activation function is ReLU, the scaling matrix can be absorbed into the next layer under certain conditions, compensating for the removed neurons. We also propose a data-free and inexpensive method to decompose the weights by utilizing the cosine similarity between neurons. Compared to the pruned model with the same topology, our merged model better preserves the output feature map of the original model; thus, it maintains the accuracy after pruning without fine-tuning. We demonstrate the effectiveness of our approach over network pruning for various model architectures and datasets. As an example, for VGG-16 on CIFAR-10, we achieve an accuracy of 93.16% while reducing 64% of total parameters, without any fine-tuning. The code can be found here: this https URL

研究动机与目标

• 为解决结构化网络剪枝中因整体移除神经元或滤波器而导致的精度下降问题。
• 开发一种方法，在无需微调的情况下补偿剪枝神经元造成的信息损失。
• 通过在保持原始模型输出特征图的同时合并神经元，实现参数高效的模型压缩。
• 提出一种基于神经元之间余弦相似度的、无需数据的、低成本权重分解技术。

提出的方法

• 该方法将原始层权重分解为两部分：当前层的新权重矩阵和指导神经元融合的缩放矩阵。
• 在激活函数为ReLU且满足特定条件时，设计缩放矩阵使其可被融入下一层的权重。
• 通过神经元激活之间的余弦相似度，在无需数据的情况下执行分解，以识别可融合的兼容神经元。
• 通过保持融合神经元组合贡献的方式，保留原始模型的输出特征图。
• 该方法适用于全连接层和卷积层，可在多种网络架构中广泛适用。
• 通过确保融合后模型的输出与剪枝前原始模型的输出高度一致，避免了微调。

实验结果

研究问题

• RQ1 神经元融合是否能在无需微调的情况下有效补偿剪枝神经网络中的精度损失？
• RQ2 如何高效且无需数据地计算缩放矩阵以指导神经元融合？
• RQ3 在保持模型精度的前提下，该融合策略可实现多大程度的参数减少？
• RQ4 该方法在剪枝和融合后是否能保留原始模型的特征图表示？
• RQ5 在不同网络架构中，神经元融合与标准剪枝方法在精度和参数效率方面相比如何？

主要发现

• 所提出的神经元融合方法在剪枝后仍能保持原始模型输出特征图的分布，确保精度下降最小化。
• 在CIFAR-10上的VGG-16中，该方法在不进行任何微调的情况下，实现93.16%的准确率，同时将总参数量减少64%。
• 该方法在多种模型架构和数据集上均表现有效，展现出超越单一网络的泛化能力。
• 基于余弦相似度的无需数据分解方法，可实现高效且低成本的权重分解以支持融合。
• 在ReLU条件下，缩放矩阵可被融入下一层，实现端到端兼容且不增加额外参数。
• 即使不进行微调，该方法在相同拓扑结构下也优于标准剪枝模型，精度表现更优。