[论文解读] Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions

Murad Tukan, Loay Mualem+1 more|arXiv (Cornell University)|Sep 18, 2022

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出了一种数据无关的、理论基础扎实的深度神经网络剪枝方法，利用核集合（coresets）与凸几何，结合 Löwner 椭球体和 Carathéodory 定理，在无需对数据或模型权重做假设的前提下计算神经元重要性。该方法实现了最先进的压缩效果，且精度损失极小，例如在 ResNet50/ImageNet 上实现 62% 的压缩率，精度仅下降 1.09%。

ABSTRACT

Pruning is one of the predominant approaches for compressing deep neural networks (DNNs). Lately, coresets (provable data summarizations) were leveraged for pruning DNNs, adding the advantage of theoretical guarantees on the trade-off between the compression rate and the approximation error. However, coresets in this domain were either data-dependent or generated under restrictive assumptions on both the model's weights and inputs. In real-world scenarios, such assumptions are rarely satisfied, limiting the applicability of coresets. To this end, we suggest a novel and robust framework for computing such coresets under mild assumptions on the model's weights and without any assumption on the training data. The idea is to compute the importance of each neuron in each layer with respect to the output of the following layer. This is achieved by a combination of Löwner ellipsoid and Caratheodory theorem. Our method is simultaneously data-independent, applicable to various networks and datasets (due to the simplified assumptions), and theoretically supported. Experimental results show that our method outperforms existing coreset based neural pruning approaches across a wide range of networks and datasets. For example, our method achieved a $62\%$ compression rate on ResNet50 on ImageNet with $1.09\%$ drop in accuracy.

研究动机与目标

• 解决现有基于核集合的剪枝方法对数据或模型权重分布施加严格假设的局限性。
• 开发一种在理论和实践上均适用、可广泛适配各类网络与数据集的剪枝框架。
• 通过权重向量的几何特性推导神经元重要性，实现完全的数据无关剪枝。
• 在保持高剪枝率与推理速度的同时，确保近似误差的理论保证。

提出的方法

• 将每一层的神经元表示为高维空间中的点，其权重向量作为坐标。
• 应用 Löwner 椭球体近似神经元权重向量的凸包，以捕捉其几何分布特性。
• 利用 Carathéodory 定理识别出一个极小的神经元子集（即核集合），该子集可近似表示下一层的输出。
• 根据神经元的几何贡献为其分配采样权重，确保近似误差有界。
• 对每一层独立构建核集合，实现端到端剪枝，且无需依赖训练数据。
• 将基于核集合的剪枝方法整合进完整的网络训练与微调流程，以维持性能。

实验结果

研究问题

• RQ1 我们能否在不依赖训练数据或模型权重分布假设的前提下，实现有效的神经网络剪枝？
• RQ2 如何利用凸几何与核集合理论，以理论基础扎实且数据无关的方式定义神经元重要性？
• RQ3 在使用几何核集合进行剪枝时，压缩率与精度损失之间的权衡关系如何？
• RQ4 与现有基于核集合的剪枝方法相比，该方法在不同网络架构上的精度与泛化能力表现如何？

主要发现

• 所提方法在 ImageNet 上对 ResNet50 实现 62% 的压缩率，top-1 精度仅下降 1.09%，优于以往基于核集合的方法。
• 该方法完全实现数据无关，无需访问训练数据或输入统计信息即可完成剪枝。
• 实验表明，核集合构建过程保持了强大的近似保证，平均加性误差随核集合大小增加而减小。
• 该方法诱导的采样分布具有更长的尾部，更倾向于选择高影响力神经元，该结论经与 [82] 的对比验证。
• 剪枝后进行微调可实现精度的稳步提升，VGG19/CIFAR10 上模型在第 18 个周期即超越基线方法。
• 即使核集合大小显著小于理论边界，该方法仍保持有效性，表明其具备实际鲁棒性。